Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FedComLoc: Communication-Efficient Distributed Training of Sparse and Quantized Models

Created by
  • Haebom

저자

Kai Yi, Georg Meinhardt, Laurent Condat, Peter Richtarik

개요

본 논문은 연합 학습(Federated Learning, FL)에서의 통신 비용 문제를 해결하기 위해, Scaffnew 알고리즘을 기반으로 한 새로운 알고리즘 FedComLoc을 제안합니다. FedComLoc은 Scaffnew의 장점을 바탕으로, TopK 압축 및 양자화와 같은 효과적인 압축 기법을 통합하여 통신 효율성을 더욱 향상시킵니다. 실험 결과, 이 방법이 이기종 환경에서 통신 오버헤드를 상당히 감소시키는 것을 보여줍니다.

시사점, 한계점

시사점:
Scaffnew 알고리즘의 효율성을 더욱 개선하는 새로운 방법 제시
TopK 압축 및 양자화를 활용한 실질적인 통신 비용 절감 방안 제시
이기종 환경에서의 연합 학습 성능 향상에 기여
한계점:
제안된 알고리즘의 특정 압축 기법(TopK)에 대한 의존성
다양한 압축 기법 및 데이터 분포에 대한 추가적인 실험 필요
실제 환경 적용에 대한 추가적인 검증 필요
👍