본 논문은 적응적 경사 하강법(adaptive gradient methods) 중 RMSProp과 그 모멘텀 확장판의 수렴 속도를 분석합니다. 기존 연구들과 달리, 제한된 기울기(bounded gradient) 가정 없이 $\ell_1$ 노름을 기준으로 수렴 속도를 $O(\frac{\sqrt{d}C}{T^{1/4}})$로 밝힙니다. 여기서 $d$는 변수의 차원, $T$는 반복 횟수, $C$는 SGD의 최적 수렴 속도에 나타나는 상수와 동일한 상수입니다. 차원 $d$를 제외한 계수들에 대해서는 하한선(lower bound)과 일치하는 결과를 보이며, 특히 고차원 문제($d$가 매우 클 때)에서 $\ell_1$ 노름과 $\ell_2$ 노름의 관계를 고려하면 SGD의 수렴 속도와 유사함을 보입니다.
