본 논문은 저랭크 적응(LoRA)의 표현 능력을 향상시키는 새로운 방법인 하위 공간 재구성 저랭크 적응(SRLoRA)을 제안합니다. LoRA는 효율적이지만 업데이트를 고정된 저랭크 하위 공간으로 제한하여 성능 저하를 야기할 수 있습니다. SRLoRA는 중요도 기반 융합 및 재초기화를 통해 하위 공간을 동적으로 재구성합니다. 중요도가 낮은 LoRA 쌍은 기존 모델에 융합되고, 남은 공간은 사전 훈련된 가중치의 특이값 분해를 통해 얻은 사용되지 않은 주 방향을 따라 새로운 쌍을 재초기화하는 데 사용됩니다. 이를 통해 훈련 가능한 매개변수 수를 늘리지 않고도 지속적인 하위 공간 갱신과 풍부한 적응을 가능하게 합니다. GLUE 벤치마크 및 다양한 이미지 분류 데이터셋을 사용한 실험 결과, SRLoRA는 기존 LoRA보다 빠른 수렴과 향상된 정확도를 달성하여 일반성, 효율성 및 광범위한 PEFT 응용 가능성을 보여줍니다.
