본 논문은 분산 SGD를 향상시키기 위해 모멘텀을 사용하는 최근 연구에 대해 다룬다. 특히 페더레이티드 러닝(FL)에서 통계적 이질성을 완화하는 데 모멘텀이 효과적인 것으로 나타났다. 하지만, 각 라운드마다 일부 작업자만 참여하는 분산 환경에서 모멘텀이 무제한의 이질성 하에서 수렴을 보장하는지는 불분명하다. 본 논문에서는 사이클 클라이언트 참여 하에서 모멘텀을 분석하고, 통계적 이질성의 영향을 받는다는 것을 이론적으로 증명한다. 또한, SGD와 유사하게, 감소하는 학습률도 도움이 되지 않으며, $\Theta\left(1/t\right)$보다 빠르게 감소하는 어떤 스케줄이든 초기화 및 이질성 바운드에 따라 상수 값으로 수렴한다는 것을 증명한다. 수치적 결과는 이론을 뒷받침하며, 딥러닝 실험은 현실적인 환경에서의 관련성을 확인한다.
