본 논문은 기존 LoRA(Low-Rank Adaptation)의 변형인 SymLoRA(Symmetric Low-Rank Adapters)를 제안합니다. SymLoRA는 기존 LoRA의 가중치 업데이트 방식인 SVD(Singular Value Decomposition) 기반의 $BA$ (여기서 $B \in \mathbb{R}^{n\times r}$, $A \in \mathbb{R}^{r\times n}$, 그리고 $r$은 병합된 가중치 행렬의 랭크) 대신, Spectral Decomposition 기반의 $Q diag(\Lambda) Q^T$ (여기서 $Q \in \mathbb{R}^{n\times r}$ 그리고 $\Lambda \in \mathbb{R}^r$)를 사용하여 하위 작업을 더 효율적으로 학습합니다. 이를 통해 기존 LoRA 대비 약 절반의 파인튜닝 가중치만으로도 유사한 성능을 달성할 수 있음을 보여줍니다.
