본 논문은 Parameter-Efficient Fine-Tuning (PEFT) 방법, 특히 Low-Rank Adaptation (LoRA)의 효율적인 개선을 다룹니다. 기존 LoRA는 느린 수렴 속도와 지식 손실 문제를 갖는데, 본 논문은 이를 해결하기 위해 새로운 LoRA 초기화 프레임워크인 Subspace-Constrained LoRA (SC-LoRA)를 제시합니다. SC-LoRA는 훈련 가능한 LoRA 어댑터의 출력을 저차원 부분 공간으로 제한하여, 미세 조정 데이터의 문맥 정보는 최대한 보존하고 기존 지식의 문맥 정보는 최소한으로 유지하는 균형을 이룹니다. 이를 통해 훈련 가능한 가중치는 미세 조정 데이터의 주요 특징에 집중하면서 기존 지식 특징을 손상시키지 않도록 합니다. 이론적 분석과 다양한 하위 작업(안전성 및 세계 지식 보존 포함)에 대한 광범위한 실험을 통해 SC-LoRA가 기존 LoRA 초기화 방법보다 우수한 미세 조정 성능을 제공하면서 지식 손실을 현저히 줄이는 것을 보여줍니다.
