FedRef: Communication-Efficient Bayesian Fine-Tuning using a Reference Model
Created by
Haebom
Category
Empty
저자
Taehwan Yoon, Bongjun Choi, Wesley De Neve
개요
본 논문은 사용자 데이터 프라이버시를 보장하는 연합 학습(FL) 환경에서 발생하는 치명적인 망각 현상을 해결하기 위한 참조 모델 기반 미세 조정 방법을 제안합니다. 제안하는 방법은 베이지안 파라미터 효율적 전이 학습에서 파생되었으며, 이전 모델의 파라미터를 통합하고 모델 최적화 단계에서 이전의 글로벌 특징을 검토하는 참조 모델을 사용합니다. 이를 통해 기존 방법에 비해 더 높은 모델 성능을 달성하고 클라이언트의 통신 및 계산 비용을 낮춥니다.
시사점, 한계점
•
시사점:
◦
연합 학습 환경에서 치명적인 망각 현상을 효과적으로 해결.
◦
기존 방법에 비해 향상된 모델 성능을 달성.
◦
클라이언트의 통신 및 계산 비용 감소.
◦
에너지 소비 절감 가능성.
•
한계점:
◦
논문에서 구체적인 실험 환경, 모델 아키텍처, 데이터셋 등에 대한 자세한 정보가 부족할 수 있음.
