Mitigating Participation Imbalance Bias in Asynchronous Federated Learning
Created by
Haebom
Category
Empty
저자
Xiangyu Chang, Manyi Yao, Srikanth V. Krishnamurthy, Christian R. Shelton, Anirban Chakraborty, Ananthram Swami, Samet Oymak, Amit Roy-Chowdhury
개요
비동기식 연합 학습(AFL)에서 서버는 각 클라이언트의 기여에 따라 즉시 글로벌 모델을 업데이트합니다. 이는 클라이언트가 서로 다른 모델 버전에서 로컬 학습을 수행하게 하여 정보 갱신 지연을 발생시킵니다. 비-IID 로컬 데이터 분포 환경에서 이 비동기 패턴은 빠른 클라이언트가 더 자주 업데이트를 제공하여 글로벌 모델을 편향시키는 클라이언트 이질성(데이터 분포, 로컬 목표 등)의 부정적인 영향을 증폭시킵니다. 이 현상을 이질성 증폭이라고 합니다. 본 연구는 AFL 설계 선택이 이질성 증폭이 발생할 때 발생하는 오류 원인과 어떻게 관련되는지에 대한 이론적 분석을 제공합니다. 또한, 모든 클라이언트의 최신 정보를 사용하는 즉각적이고 버퍼링되지 않은 업데이트를 통해 참여 불균형을 완화하는 ACE(All-Client Engagement AFL)를 제안합니다. 지연 인식 변형인 ACED는 업데이트 갱신 지연에 대한 클라이언트 다양성을 균형 있게 유지합니다. 다양한 이질성 및 지연 설정에서 여러 모델과 작업에 대한 실험을 통해 분석을 검증하고 접근 방식의 강력한 성능을 입증합니다.