Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning

Created by

Haebom

저자

Yanbiao Ma, Wei Dai, Wenke Huang, Jiayi Chen

개요

본 논문은 연합 학습에서의 데이터 이질성 문제, 특히 지역 분포와 전역 분포 간의 심각한 불일치로 인해 발생하는 지역 최적화 방향의 발산 및 전역 모델 학습의 저해 문제를 해결하는 새로운 방법을 제시합니다. 기존 연구는 주로 지역 업데이트 또는 전역 집계 최적화에 초점을 맞추었으나, 레이블 왜곡과 도메인 왜곡이 공존하는 고도로 이질적인 데이터 분포에서는 불안정성을 보였습니다. 이를 해결하기 위해, 본 논문에서는 전역 임베딩 분포를 지역적으로 시뮬레이션하는 데 중점을 둔 기하학적 가이드 데이터 생성 방법을 제안합니다. 먼저 임베딩 분포의 기하학적 형태 개념을 도입하고, 개인 정보 보호 제약 조건 하에서 전역 기하학적 형태를 얻는 문제를 해결합니다. 그 후, 전역 기하학적 형태를 활용하여 새로운 샘플 생성을 유도하고 이상적인 전역 분포에 대한 근사치를 개선하는 GGEUR(Geometry-Guided Embedding-based data generation for Federated Learning with Uneven Representation)을 제안합니다. 단일 도메인 시나리오에서는 전역 기하학적 형태를 기반으로 샘플을 증강하여 모델의 일반화 성능을 향상시키고, 다중 도메인 시나리오에서는 클래스 프로토타입을 추가로 사용하여 도메인 간 전역 분포를 시뮬레이션합니다. 광범위한 실험 결과는 제안된 방법이 레이블 왜곡, 도메인 왜곡 및 이들의 공존과 같은 고도로 이질적인 데이터를 처리하는 기존 방법의 성능을 크게 향상시킨다는 것을 보여줍니다.