Provable Benefit of Sign Descent: A Minimal Model Under Heavy-Tailed Class Imbalance
Created by
Haebom
Category
Empty
저자
Robin Yadav, Shuo Xie, Tianhao Wang, Zhiyuan Li
개요
본 논문은 적응적 최적화 방법 (예: Adam)이 Gradient Descent (GD)보다 뛰어난 성능을 보이는 이유를 언어 모델링 작업에서 분석하고자 한다. 특히, $\ell_\infty$ 놈 강하 (sign descent)의 이점을 데이터 분포의 특성, 즉 heavy-tailed class imbalance와 연관시켜 설명한다. 이를 위해, next-token 예측 설정을 통해 Sign descent가 정규화된 GD보다 더 빠르게 수렴함을 증명한다.
시사점, 한계점
•
시사점:
◦
heavy-tailed class imbalance가 있는 경우 $\ell_\infty$ 놈 강하 (Sign descent)가 GD보다 유리할 수 있음을 이론적으로 제시.
◦
언어 모델링 작업에서 적응적 최적화 방법의 장점을 데이터 분포의 특성으로 설명하는 새로운 관점을 제시.
◦
최적화 알고리즘 선택에 있어 데이터 특성을 고려해야 함을 시사.
•
한계점:
◦
단순화된 next-token 예측 설정을 사용하므로 실제 LLM pretraining 환경에 직접 적용하기에는 추가적인 연구가 필요.
◦
$\ell_\infty$ 놈 강하의 장점을 heavy-tailed class imbalance에 국한하여 설명하며, 다른 데이터 특성 및 최적화 방법과의 관계는 추가 연구가 필요.
