Unlocking Personalized Knowledge in Federated Large Language Model: The Power of Mixture of Experts
Created by
Haebom
저자
Fan Liu, Bikang Pan, Zhongyi Wang, Xi Yao, Xiaoying Tang, Jingya Wang, Ye Shi
개요
본 논문은 Mixture of Experts (MoE) 기반의 대규모 언어 모델(LLM)에 적합한 새로운 연합 학습 프레임워크인 FLEx(Federated LLMs with Personalized Experts)를 제안합니다. 기존 연합 학습 방법들은 MoE 모델의 희소성을 활용하지 못하여 과도한 통신 부하와 계산 비용을 초래하는 반면, FLEx는 클라이언트별로 하나의 전문가만을 유지하도록 글로벌 MoE 모델을 가지치기하고, 적응형 게이팅 메커니즘을 사용하여 개인화된 전문가들을 사전 훈련된 MoE 계층에 재통합함으로써 효율적인 개인화를 달성합니다. 개인화된 전문가들은 각 클라이언트의 로컬 데이터로 훈련되고 로컬에 저장되며, 공유 모듈은 글로벌하게 집계됩니다. 비IID 조건 하의 다양한 지시어 기반 데이터셋에 대한 광범위한 평가를 통해 FLEx가 기존 연합 학습 기준 모델보다 우수한 성능을 보임을 확인했습니다.
시사점, 한계점
•
시사점:
◦
MoE 기반 LLM을 위한 효율적인 연합 학습 프레임워크 FLEx 제시
◦
기존 연합 학습의 과도한 통신 및 계산 비용 문제 해결
◦
개인화된 전문가를 활용한 효과적인 개인 맞춤형 학습 가능성 제시
◦
비IID 데이터셋에서 우수한 성능 검증
•
한계점:
◦
제안된 방법의 확장성 및 다양한 MoE 아키텍처에 대한 적용 가능성에 대한 추가 연구 필요
