FedWSQ: Efficient Federated Learning with Weight Standardization and Distribution-Aware Non-Uniform Quantization
Created by
Haebom
저자
Seung-Wook Kim, Seongyeol Kim, Jiah Kim, Seowon Ji, Se-Ho Lee
개요
FedWSQ는 데이터 이질성과 통신 제약이라는 주요 과제로 인해 성능 저하가 발생하는 연합 학습(FL)의 한계를 해결하기 위해 제안된 새로운 FL 프레임워크입니다. FedWSQ는 가중치 표준화(WS)와 분포 인식 비균일 양자화(DANUQ)를 통합하여 작동합니다. WS는 학습 중 지역 업데이트의 편향된 구성 요소를 필터링하여 데이터 이질성과 불안정한 클라이언트 참여에 대한 모델의 강건성을 향상시킵니다. DANUQ는 지역 모델 업데이트의 통계적 특성을 활용하여 양자화 오류를 최소화합니다. 결과적으로 FedWSQ는 우수한 모델 정확도를 유지하면서 통신 오버헤드를 크게 줄입니다. 다양한 어려운 FL 설정(극단적인 데이터 이질성 및 초저 비트 통신 시나리오 포함)에서 기존 FL 방법보다 일관되게 우수한 성능을 보임을 다양한 벤치마크 데이터셋 실험을 통해 입증했습니다.
시사점, 한계점
•
시사점:
◦
데이터 이질성과 통신 제약 문제를 효과적으로 해결하는 새로운 연합 학습 프레임워크 제시.
◦
가중치 표준화(WS)와 분포 인식 비균일 양자화(DANUQ)를 통한 성능 향상 및 통신 오버헤드 감소.
