본 논문은 심층 신경망 학습에서 초기화의 중요성을 강조하며, 기존의 Glorot 및 He 초기화와 같은 확률적 방법의 한계를 지적합니다. 기존 방법들은 층 간 연결에 불균일한 가중치 분포를 초래할 수 있다는 점을 문제 삼습니다. 따라서 본 논문에서는 사인파 함수를 이용하여 구조화된 가중치 행렬을 생성하는 새로운 결정적 초기화 방법인 'Sinusoidal 초기화'를 제안합니다. Sinusoidal 초기화는 네트워크 전체의 가중치 분포를 개선하고, 초기 전달 단계부터 균일하고 조건이 양호한 뉴런 활성화 상태 분포를 촉진합니다. 실험 결과, 다양한 모델(CNN, Vision Transformer, LLM 등)에서 평균 4.9%의 검증 정확도 향상과 20.9%의 수렴 속도 향상을 보였습니다. 이는 확률성 대신 구조를 도입하여 심층 학습 시스템의 기반을 강화하는 것을 목표로 합니다.
