Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping
Created by
Haebom
Category
Empty
저자
Jiaxing Li, Zihan Chen, Kai Fong Ernest Chong, Bikramjit Das, Tony Q. S. Quek, Howard H. Yang
개요
본 논문은 연합 에지 학습에서 통신 병목 현상을 해결하기 위해 무선 통신을 이용한 모델 집계 방법을 제시합니다. 다중 접속 채널의 중첩 특성을 활용하여 통신과 계산을 통합적으로 설계함으로써 시스템 프라이버시를 향상시키고 구현 비용을 절감합니다. 그러나 무선 채널의 고유한 전자기 간섭은 종종 헤비테일 분포를 나타내어 전역적으로 집계된 기울기에 매우 강한 잡음을 발생시키고, 이는 학습 성능을 크게 저하시킵니다. 이 문제를 해결하기 위해, 본 논문은 헤비테일 잡음의 악영향에 대처하는 새로운 기울기 클리핑 방법인 Median Anchored Clipping (MAC)을 제안합니다. 또한 MAC 하에서 아날로그 무선 연합 학습을 통한 모델 학습의 수렴 속도에 대한 분석적 표현을 도출하여 MAC의 학습 성능에 대한 영향을 정량적으로 보여줍니다. 광범위한 실험 결과는 제안된 MAC 알고리즘이 헤비테일 잡음의 영향을 효과적으로 완화하여 시스템 강건성을 크게 향상시킨다는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
무선 통신 기반 연합 학습에서 헤비테일 잡음 문제를 효과적으로 해결하는 새로운 기울기 클리핑 방법(MAC) 제시.
◦
MAC의 수렴 속도에 대한 분석적 표현 도출을 통해 알고리즘 성능을 정량적으로 분석.
◦
실험 결과를 통해 MAC의 강건성 향상 효과 검증.
•
한계점:
◦
제안된 MAC 알고리즘의 성능은 특정 헤비테일 분포에 의존할 수 있음. 다양한 잡음 분포에 대한 추가적인 분석 필요.
