이 논문은 Adam 옵티마이저가 SGD보다 경험적으로 더 빠른 수렴 속도를 보이는 이유를 설명합니다. 저자들은 Adam의 핵심적인 두 번째 모멘트 정규화(second-moment normalization)를 발견하고, 이를 기반으로 하는 분석을 통해 Adam과 SGD의 확률적 수렴 행동에 대한 이론적 분리를 처음으로 제시합니다. 분석 결과, Adam은 높은 확률 보장에서 $\delta^{-1/2}$의 신뢰도 파라미터 의존성을 달성하는 반면, SGD는 최소 $\delta^{-1}$의 의존성을 가지는 것으로 나타났습니다.
