Robust Asymmetric Heterogeneous Federated Learning with Corrupted Clients
Created by
Haebom
Category
Empty
저자
Xiuwen Fang, Mang Ye, Bo Du
개요
본 논문은 모델 구조가 서로 다른 클라이언트(모델 이질성)와 데이터 손상이 발생하는 클라이언트가 존재하는, 까다로운 강건한 연합 학습 문제를 연구합니다. 실제 배포 환경에서 랜덤 노이즈, 압축 아티팩트 또는 환경 조건과 같은 요인으로 인해 데이터 손상은 불가피하며, 이는 전체 연합 시스템을 심각하게 손상시킵니다. 이러한 문제를 해결하기 위해, 본 논문은 새로운 강건한 비대칭 이종 연합 학습(RAHFL) 프레임워크를 제시합니다. 다양한 데이터 손상 패턴에 대한 로컬 모델의 복원력과 적응력을 향상시키기 위해 다양성 향상 지도형 대조 학습 기법을 제안합니다. 기본 아이디어는 혼합 데이터 증강 전략을 통해 얻은 복잡한 증강 샘플을 지도형 대조 학습에 활용하여 모델이 강건하고 다양한 특징 표현을 학습할 수 있는 능력을 향상시키는 것입니다. 또한, 외부 클라이언트의 손상된 피드백에 저항하기 위해 비대칭 이종 연합 학습 전략을 설계합니다. 이 전략을 통해 클라이언트는 협업 학습 단계 중에 선택적 일방향 학습을 수행하여, 덜 강건하거나 성능이 저조한 협력자로부터 낮은 품질의 정보를 통합하는 것을 피할 수 있습니다. 광범위한 실험 결과는 다양하고 까다로운 연합 학습 환경에서 제안된 방법의 효과와 강건성을 보여줍니다. 코드와 모델은 https://github.com/FangXiuwen/RAHFL 에서 공개적으로 이용 가능합니다.
