본 논문에서는 연합 학습 환경에서 대규모 언어 모델(LLM)을 미세 조정하는 새로운 방법인 FedALT를 제안합니다. 기존의 FedAvg 기반 연합 LoRA 미세 조정 방법은 데이터 이질성으로 인해 클라이언트 간 간섭이 발생하고 최적의 개인화가 어렵다는 문제점을 가지고 있습니다. FedALT는 FedAvg와 달리, 각 클라이언트가 개별 LoRA를 훈련하면서 Rest-of-the-World (RoTW) LoRA 구성 요소를 통해 공유 지식을 통합하는 방식을 사용합니다. 개별 LoRA와 RoTW LoRA 간의 가중치를 동적으로 학습하는 적응형 믹서를 도입하여 지역 적응과 전역 정보 간의 균형을 효과적으로 맞춥니다. 실험 결과, FedALT는 기존의 개인화된 연합 LoRA 미세 조정 방법보다 우수한 지역 적응 성능을 보이며 계산 효율성도 유지함을 보여줍니다.
