FedTreeLoRA: Reconciling Statistical and Functional Heterogeneity in Federated LoRA Fine-Tuning
Author
- Haebom
Category
Empty
저자
Jieming Bian, Lei Wang, Letian Zhang, Jie Xu
💡 개요
본 논문은 연합 학습(Federated Learning, FL) 환경에서 Low-Rank Adaptation (LoRA)을 적용할 때 발생하는 통계적 이질성과 기능적 이질성을 동시에 해결하는 FedTreeLoRA를 제안한다. 기존 방법들이 통계적 이질성만 고려하고 모델을 단일 블록으로 취급했던 것과 달리, FedTreeLoRA는 계층 구조적 집계를 통해 레이어별로 세밀한 조정을 수행한다. 이를 통해 모델의 얕은 부분은 광범위한 합의를 공유하고 깊은 부분은 점진적으로 특화하여 일반화와 개인화를 효과적으로 조화시킨다.
🔑 시사점 및 한계
•
연합 학습에서 LLM 파인튜닝 시 발생하는 통계적 및 기능적 이질성을 통합적으로 해결할 수 있는 새로운 프레임워크를 제시한다.
•
트리 구조의 동적 집계 방식을 통해 클라이언트 유사성에 따라 최적의 파라미터 공유 깊이를 결정하여 성능을 향상시킨다.
•
제안된 FedTreeLoRA는 NLU 및 NLG 벤치마크에서 기존 최신 기술 대비 우수한 성능을 입증했다.
•
동적으로 트리 구조를 구축하고 관리하는 데 드는 계산 오버헤드와 최적의 트리 구조 설계를 위한 추가적인 연구가 필요할 수 있다.
