FedWSQ: Efficient Federated Learning with Weight Standardization and Distribution-Aware Non-Uniform Quantization
Created by
Haebom
저자
Seung-Wook Kim, Seongyeol Kim, Jiah Kim, Seowon Ji, Se-Ho Lee
개요
FedWSQ는 데이터 이질성과 통신 제약이라는 주요 과제로 인해 성능 저하를 겪는 연합 학습(FL)의 한계를 해결하기 위해 제안된 새로운 FL 프레임워크입니다. FedWSQ는 가중치 표준화(WS)와 분포 인식 비균일 양자화(DANUQ)를 통합하여 작동합니다. WS는 학습 중 로컬 업데이트에서 편향된 구성 요소를 필터링하여 데이터 이질성과 불안정한 클라이언트 참여에 대한 모델의 강력성을 향상시킵니다. DANUQ는 로컬 모델 업데이트의 통계적 특성을 활용하여 양자화 오류를 최소화합니다. 결과적으로 FedWSQ는 우수한 모델 정확도를 유지하면서 통신 오버헤드를 크게 줄입니다. 다양한 FL 벤치마크 데이터셋에 대한 광범위한 실험은 극심한 데이터 이질성과 초저비트 통신 시나리오를 포함한 다양한 어려운 FL 설정에서 FedWSQ가 기존 FL 방법보다 일관되게 우수한 성능을 보임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
데이터 이질성과 통신 제약이 심한 환경에서 연합 학습의 성능을 향상시키는 효과적인 방법 제시.
◦
가중치 표준화(WS)와 분포 인식 비균일 양자화(DANUQ)의 조합을 통해 통신 오버헤드 감소와 모델 정확도 향상을 동시에 달성.
