본 논문은 연합 학습 환경에서 대규모 언어 모델(LLM)의 개인 맞춤형 미세 조정을 위한 새로운 알고리즘인 FedALT를 제안합니다. 기존의 FedAvg 기반 연합 LoRA 미세 조정 방법들은 데이터 이질성으로 인해 클라이언트 간 간섭이 발생하고 최적의 개인화가 어렵다는 문제점을 가지고 있습니다. FedALT는 FedAvg와 달리, 각 클라이언트가 개별 LoRA를 훈련하면서 Rest-of-World (RoW) LoRA 구성 요소를 통해 공유 지식을 통합하는 방식을 사용합니다. 개별 LoRA와 RoW LoRA 간의 가중치를 동적으로 학습하는 적응형 믹서를 도입하여 지역적 적응과 전역 정보 간의 균형을 효과적으로 조절합니다. 자연어 처리(NLP) 벤치마크에 대한 광범위한 실험을 통해 FedALT가 기존 최첨단 개인화된 연합 LoRA 미세 조정 방법보다 우수한 지역 적응 성능을 보이며, 계산 효율성을 희생하지 않고 성능을 향상시킨다는 것을 입증합니다.
