FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models
Created by
Haebom
저자
Kai Yi, Georg Meinhardt, Laurent Condat, Peter Richtarik
개요
본 논문은 연합 학습(Federated Learning, FL)에서의 통신 비용 문제를 해결하기 위해, Scaffnew 알고리즘을 기반으로 한 새로운 알고리즘 FedComLoc을 제안합니다. FedComLoc은 Scaffnew의 장점을 바탕으로, TopK 압축 및 양자화와 같은 효과적인 압축 기법을 통합하여 통신 효율성을 더욱 향상시킵니다. 실험 결과, 이 방법이 이기종 환경에서 통신 오버헤드를 상당히 감소시키는 것을 보여줍니다.