Spectral Edge Dynamics: An Analytical-Empirical Study of Phase Transitions in Neural Network Training

Created by

Haebom

저자

Yongzhong Xu

💡 개요

본 연구는 신경망 훈련 중 발생하는 위상 전이 현상(grokking, 능력 향상, 손실 정체)이 매개변수 업데이트의 롤링 윈도우 Gram 행렬 스펙트럼 갭에 의해 제어됨을 밝히는 스펙트럼 엣지 분석 방법을 제안합니다. 특히 극단적인 비율 영역에서, 동적으로 우선권을 가지는 유일한 위치($k^*$)에서의 스펙트럼 갭 붕괴가 학습을 방해하며, 이는 최적화 방법에 대한 가정 없이 자체적으로 유지되는 $\alpha$-피드백 루프를 통해 발생함을 이론적으로 도출했습니다. 제안된 분석은 다양한 신경망 모델군에서 실험적으로 검증되었으며, 위상 전이 예측 및 관찰에 성공했습니다.

🔑 시사점 및 한계

•

신경망 훈련의 복잡한 위상 전이 현상이 매개변수 업데이트의 스펙트럼 갭이라는 단순한 지표로 설명될 수 있음을 보여주어, 훈련 과정 이해의 새로운 프레임워크를 제공합니다.

•

제안된 스펙트럼 엣지 분석은 grokking과 같은 현상의 예측 가능성을 높이고, 최적화 방식에 따른 훈련 동역학의 차이를 정량적으로 분석할 수 있는 도구를 제공합니다.

•

본 연구의 결과는 Edge of Stability, Tensor Programs, Dyson Brownian motion, Lottery Ticket Hypothesis, Neural Scaling Laws 등 기존의 다양한 신경망 훈련 관련 이론들과 일관성을 가집니다.

•

현재 분석은 롤링 윈도우 Gram 행렬에 초점을 맞추고 있으며, 더 넓은 범위의 아키텍처나 훈련 설정에서의 적용 가능성 및 일반화에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage