본 논문은 분산 환경에서 파운데이션 모델을 미세 조정하는 데 사용되는 Federated Low-Rank Adaptation (FedLoRA)의 한계를 해결하기 위해 제안된 FLoRA-NA (Federated LoRA with Nearly Accurate Estimation)에 대해 설명한다. FLoRA-NA는 서버에서 로컬 LoRA 행렬을 활용하여 집계된 행렬을 추정하고, 이를 클라이언트에 배포하여 로컬 업데이트를 수행한다. 이 방식으로 통신 비용을 추가하지 않으면서, 로컬 개인화와 글로벌 일반화 간의 격차를 줄여 기존 FedLoRA 방식의 주요 한계를 해결한다. 다양한 작업(자연어 이해, 수학적 추론, 코드 해결 능력)에 대한 광범위한 평가를 통해 FLoRA-NA가 낮은 통신 오버헤드를 유지하면서 최첨단 글로벌 성능을 달성함을 입증한다.
