Why Adam Can Beat SGD: Second-Moment Normalization Yields Sharper Tails

Created by

Haebom

저자

Ruinan Jin, Yingbin Liang, Shaofeng Zou

💡 개요

본 논문은 Adam 옵티마이저가 SGD보다 경험적으로 더 빠른 수렴 속도를 보이는 이유를 이론적으로 규명합니다. Adam에 내재된 중요한 두 번째 모멘트 정규화(second-moment normalization)를 분석하여, Adam이 SGD에 비해 고확률 수렴(high-probability convergence)에서 더 효율적인 성능을 보임을 증명했습니다. 특히, Adam은 신뢰도 파라미터($\delta$)에 대해 $\delta^{-1/2}$의 의존성을 갖는 반면, SGD는 최소 $\delta^{-1}$의 의존성을 요구함을 보였습니다.

🔑 시사점 및 한계

•

Adam의 독특한 두 번째 모멘트 정규화가 SGD 대비 더 나은 고확률 수렴 보장을 제공한다는 이론적 증명을 제시합니다.

•

Adam이 $\delta$에 대한 의존성 측면에서 SGD보다 이론적으로 우위에 있음을 보여, 경험적 성능 격차를 설명하는 데 기여합니다.

•

분석은 고전적인 제한된 분산 모델(bounded variance model) 하에서 이루어졌으므로, 더 복잡하거나 현실적인 데이터 분포에 대한 확장성은 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage