Sign In

BTFL: A Bayesian-based Test-Time Generalization Method for Internal and External Data Distributions in Federated learning

Created by
  • Haebom
Category
Empty

저자

Yu Zhou, Bingyan Liu

개요

본 논문은 연합 학습(FL)에서의 테스트 시간 일반화 문제를 해결하기 위해 새로운 시나리오인 TGFL(Test-time Generalization for Internal and External Distributions in Federated Learning)을 제시합니다. 기존의 개인화된 연합 학습(PFL)은 테스트 시 OOD(Out-Of-Distribution) 샘플에 취약한 한계를 가지는데, 본 논문에서는 이를 해결하기 위해 내부 분포(IND)와 외부 분포(EXD)에서의 적응성을 평가하는 TGFL을 제안합니다. 그리고 TGFL을 위한 베이지안 기반 테스트 시간 일반화 방법인 BTFL을 제안합니다. BTFL은 두 개의 헤드 아키텍처를 사용하여 지역 및 전역 지식을 저장하고, 이전 테스트 데이터와 현재 샘플 특징을 고려하는 이중 베이지안 프레임워크를 통해 예측을 보간하여 테스트 시 샘플 수준에서 일반화와 개인화의 균형을 맞춥니다. 실험 결과, BTFL은 다양한 데이터셋과 모델에서 기존 방법보다 향상된 성능을 더 빠른 속도로 달성함을 보여줍니다. 소스 코드는 공개적으로 제공됩니다.

시사점, 한계점

시사점:
연합 학습의 테스트 시간 일반화 문제에 대한 새로운 접근 방식 제시
테스트 시간에 일반화와 개인화의 균형을 효과적으로 맞추는 BTFL 알고리즘 제안
다양한 데이터셋과 모델에서 기존 방법보다 향상된 성능과 속도 개선을 실험적으로 검증
소스 코드 공개를 통한 재현성 및 확장성 확보
한계점:
제안된 방법의 성능 향상이 특정 데이터셋과 모델에 국한될 가능성
실제 복잡한 연합 학습 환경에서의 일반화 성능에 대한 추가적인 검증 필요
베이지안 모델의 계산 복잡도 및 매개변수 조정에 대한 추가적인 연구 필요
👍