본 논문은 연합 학습(FL) 환경에서 저랭크 적응(LoRA)을 이용한 기초 모델(FM)의 미세 조정에 초점을 맞춥니다. 기존의 이종 LoRA 기반 FL 방법들은 매개변수 절단으로 인한 편향된 기울기 업데이트로 인해 수렴성 보장이 부족하다는 문제점을 지적합니다. 이를 해결하기 위해, 본 논문에서는 이종 LoRA를 위한 새로운 연합 학습 프레임워크인 FedHL을 제안합니다. FedHL은 전랭크 글로벌 모델을 보정된 집계 기반으로 활용하여 초기 정렬 과정에서 발생하는 절단 편향을 제거하고, 수렴 상한선에서 기울기 표류 항을 최소화하는 이론적으로 최적의 집계 가중치를 도출합니다. 실험 결과, FedHL은 기존 최첨단 방법들보다 1-3% 향상된 성능을 보였으며, O(1/√T)의 수렴 속도를 보장함을 보여줍니다.
