FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA

작성자

Haebom

카테고리

Empty

저자

Haoran Zhang, Dongjun Kim, Seohyeon Cha, Haris Vikalo

💡 개요

본 논문은 연합 학습 환경에서 LoRA(Low-Rank Adaptation)를 활용할 때 발생하는 낮은 랭크 요인들의 회전 불일치 문제를 다룹니다. 제안된 FedRot-LoRA는 통신 효율성을 유지하면서 클라이언트 업데이트를 정렬하여 이러한 불일치로 인한 집계 오류를 줄입니다. 실험 결과, FedRot-LoRA는 다양한 이질성 수준과 LoRA 랭크에서 기존 연합 LoRA 방식보다 뛰어난 성능을 보였습니다.

🔑 시사점 및 한계

•

연합 학습 환경에서 LoRA 사용 시 발생하는 회전 불일치가 성능 저하의 주요 원인임을 규명했습니다.

•

Orthogonal transformation을 통해 클라이언트 업데이트를 정렬함으로써 통신 비용 증가나 모델 표현력 저하 없이 집계 오류를 효과적으로 감소시켰습니다.

•

FedRot-LoRA는 다양한 NLU 및 생성 태스크에서 기존 연합 LoRA 기법들을 능가하는 성능을 입증했습니다.

PDF 보기

Made with Slashpage