본 논문은 연합 학습 환경에서 대규모 언어 모델(LLM)을 미세 조정하는 새로운 방법인 FedALT를 제안한다. FedAvg 기반의 기존 연합 LoRA 미세 조정 방식이 데이터 이질성으로 인해 발생하는 상호 간섭 문제를 해결하기 위해, FedALT는 모델 통합 없이 각 클라이언트가 개별 LoRA를 계속 훈련하면서 RoW(Rest-of-World) LoRA 컴포넌트를 통해 공유 지식을 통합한다. 또한, 지역 적응과 글로벌 정보의 균형을 효과적으로 유지하기 위해, 입력 특정 가중치를 동적으로 학습하는 적응형 믹서를 도입하여 MoE(Mixture-of-Experts) 패러다임을 활용한다. 실험 결과 FedALT는 기존 방식보다 우수한 성능을 보였다.
