본 논문은 저차원 적응(LoRA)의 한계점을 해결하기 위해 SingLoRA를 제안합니다. LoRA는 사전 훈련된 모델의 가중치에 두 개의 작은 행렬의 곱으로 구성된 저차원 행렬 업데이트를 추가하여 매개변수 효율적인 미세 조정을 수행하지만, 두 행렬 간의 스케일 불일치로 인해 훈련이 불안정해지고 성능이 저하될 수 있습니다. SingLoRA는 저차원 행렬과 그 전치 행렬의 곱으로 가중치 업데이트를 재구성하여 이 문제를 해결합니다. 이러한 단순한 설계는 행렬 간 스케일 충돌을 제거하여 안정적인 최적화를 보장하고 매개변수 수를 절반으로 줄입니다. 무한 너비 신경망 프레임워크 내에서 SingLoRA를 분석하여 구성상 안정적인 특징 학습을 보장함을 보여줍니다. 여러 작업에 대한 광범위한 실험을 통해 이러한 이점을 검증합니다. MNLI에서 Llama 7B를 미세 조정하는 경우 SingLoRA는 LoRA 및 LoRA+보다 높은 정확도(91.3% vs 89.1%, 90.2%)를 달성하며, 매개변수 사용량은 60%에 불과합니다. Stable Diffusion을 미세 조정하는 이미지 생성 작업에서도 DreamBooth에 대한 이미지 충실도를 크게 향상시킵니다.
