FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA
Created by
- Haebom
Category
Empty
저자
Seanie Lee, Sangwoo Park, Dong Bok Lee, Dominik Wagner, Haebin Seong, Tobias Bocklet, Juho Lee, Sung Ju Hwang
개요
Low-Rank Adaptation (LoRA)은 연합 학습(FL)에서 언어 모델의 효율적인 미세 조정을 위해 널리 사용되지만, 차등적 프라이버시 확률적 경사 하강법(DP-SGD)과 결합하면 노이즈 증폭 문제가 발생합니다. 본 논문에서는 특이값 분해(SVD)를 기반으로 하는 전역 재매개변수화 방법을 제안하는 $\texttt{FedSVD}$를 제시합니다. $\texttt{FedSVD}$는 각 클라이언트가 $B$ 행렬만 최적화하고 서버에 전송하며, 서버는 $B$ 행렬을 집계하고 이전 $A$를 사용하여 $BA$를 계산한 후 SVD를 통해 재분해합니다. 이를 통해 노이즈 증폭을 피하고, $A$가 집계된 업데이트의 주요 방향을 더 잘 포착하도록 하며, DP-SGD 하에서 더 많은 신호를 보존할 수 있습니다. $\texttt{FedSVD}$는 다양한 프라이버시 설정과 벤치마크에서 안정성과 성능을 일관되게 개선합니다.
시사점, 한계점
•
$\texttt{FedSVD}$는 DP-SGD와 결합된 LoRA의 노이즈 증폭 문제를 해결하기 위해 SVD를 활용한 효율적인 프레임워크를 제시합니다.
•
$A$ 행렬의 정규 직교 구조를 통해 DP-SGD 하에서 그래디언트 노름을 제한하고 신호 보존 능력을 향상시킵니다.
•
다양한 프라이버시 설정 및 벤치마크에서 기존 방법보다 우수한 성능을 보입니다.
•
구현 및 적용이 비교적 간단합니다.
•
$A$ 행렬을 업데이트하기 위해 서버 측에서 SVD 계산이 필요합니다.
•
클라이언트와 서버 간의 통신 비용은 $B$ 행렬의 크기에 따라 달라집니다.
•
모델 성능은 SVD를 통한 재매개변수화의 효율성에 의존합니다.
