When and Why SignSGD Outperforms SGD: A Theoretical Study Based on $\ell_1$-norm Lower Bounds

작성자

Haebom

카테고리

Empty

저자

Hongyi Tao, Dingzhi Yu, Lijun Zhang

💡 개요

본 연구는 SignSGD와 같은 부호 기반 최적화 알고리즘이 일반 SGD를 능가하는 이론적 이유를 규명합니다. 기존의 $\ell_2$-norm 기반 분석으로는 부호 기반 방법의 우수성을 설명하기 어려웠으나, 연구진은 $\ell_1$-norm 정체성, $\ell_\infty$-매끄러움, 분리 가능한 노이즈 모델을 활용하여 부호 기반 최적화의 성능을 분석했습니다. 이를 통해 특정 문제 특성 하에서 SignSGD가 SGD보다 $d$배의 복잡도 감소를 보일 수 있음을 이론적으로 증명했습니다.

🔑 시사점 및 한계

•

SignSGD의 우수성 규명: 희소한 노이즈 환경에서 SignSGD가 SGD 대비 $d$배의 복잡도 개선을 이룰 수 있다는 이론적 근거를 제시합니다.

•

Muon 최적화기 확장: 부호 연산이 행렬 영역으로 확장될 때도 차원 수에 따른 최적의 성능 스케일링이 유지됨을 Muon 최적화기에 대한 최적 하한선으로 입증했습니다.

•

이론과 실제의 연결: 이론적 분석 결과가 124M 파라미터 GPT-2 모델 사전 학습 시 SignSGD의 더 빠른 수렴 속도를 예측하는 실제 실험으로 뒷받침됨을 보여줍니다.

•

한계점: 제안된 이론적 틀은 특정 문제 기하학(sparse noise, separable noise model)에 기반하고 있으며, 모든 상황에서 SignSGD가 SGD를 능가한다고 일반화하기는 어렵습니다. 또한, 분석은 주로 정체점(stationary point)을 찾는 데 초점을 맞추고 있어, 실제 딥러닝 모델 학습에서 나타나는 복잡한 최적화 과정 전반을 완전히 설명하기에는 한계가 있을 수 있습니다.

PDF 보기

Made with Slashpage