본 논문은 분산 환경에서의 개인정보 보호를 고려한 학습 방법으로 주목받는 연합 학습(Federated Learning, FL)의 한계점을 해결하기 위한 연구를 제시합니다. 기존 연합 학습 방법들은 데이터의 이질성과 클라이언트의 부분 참여로 인해 성능 저하를 겪는 문제점이 있습니다. 특히 모멘텀 기법은 통계적 이질성을 극복하는 유망한 방법으로 여겨지지만, 기존 접근 방식에서는 최근에 샘플링된 클라이언트에 치우쳐 업데이트되는 문제가 있어 FedAvg를 능가하지 못했습니다. 본 논문에서는 이러한 문제를 해결하기 위해 일반화된 헤비볼 모멘텀(Generalized Heavy-Ball Momentum, GHBM)을 제안하고, 이론적으로 무한한 데이터 이질성과 순환적인 부분 참여 환경에서의 수렴성을 증명합니다. 또한, 클라이언트가 상태를 유지할 수 있는 환경에서 FedAvg와 동일한 통신 복잡도를 갖는 적응적이고 통신 효율적인 GHBM의 변형을 제시합니다. 시각 및 언어 작업에 대한 광범위한 실험을 통해 이론적 결과를 확인하고, 특히 대규모 환경에서 데이터 이질성이 높고 클라이언트 참여율이 낮은 경우 GHBM이 기존 최첨단 성능을 크게 향상시킴을 보여줍니다.
