본 논문은 대규모 언어 모델을 효율적으로 미세 조정하기 위한 방법으로, LoRA (Low-Rank Adaptation)의 성능 향상을 목표로 한다. LoRA-SB는 신중하게 설계된 초기화 전략을 사용하여 저랭크 부분 공간 내에서 전체 미세 조정을 근사하는 방법을 제안한다. LoRA-XS 아키텍처를 기반으로, 학습 가능한 r x r 행렬을 삽입하여 최적의 스케일링과 초기화 조건을 제공한다. 수학적 추론, 상식적 추론, 언어 이해 태스크에서 LoRA 및 기존 baseline을 능가하는 성능을 보이며, 학습 가능한 파라미터 수를 크게 줄이는 것을 실험적으로 입증했다.
