본 논문은 심층 신경망 학습에서 초기화의 중요성을 강조하며, 기존의 Glorot 및 He 초기화 방식의 한계점(랜덤성으로 인한 불균일한 가중치 분포)을 지적합니다. 새로운 초기화 방법인 Sinusoidal 초기화를 제안하는데, 이는 사인 함수를 이용하여 가중치 행렬을 구조적으로 생성함으로써 네트워크 전체의 가중치 분포를 개선하고, 초기부터 균일하고 조건이 양호한 뉴런 활성화 상태 분포를 조성합니다. 실험 결과, 다양한 모델(CNN, ViT, LLM)에서 기존 방식보다 평균 4.8%의 검증 정확도 향상과 20.9%의 수렴 속도 향상을 보였습니다. 랜덤성 대신 구조적 접근을 통해 심층 학습 시스템의 기반을 강화하는 방법을 제시합니다.
