본 논문은 LoRA(Low-Rank Adaptation)의 성능 저하 원인을 분석하고, 이를 개선하는 새로운 매개변수 효율적인 방법인 RandLoRA를 제안합니다. LoRA는 매개변수 수와 메모리 요구량을 줄이면서도 미세 조정 성능을 유지하는 데 효과적이지만, 낮은 계급(low-rank) 특성으로 인해 복잡한 작업에서 성능 저하가 발생할 수 있습니다. RandLoRA는 학습된 선형 결합을 통해 고정된 낮은 계급의 비학습 가능한 랜덤 행렬을 활용하여 전 계급(full-rank) 업데이트를 수행합니다. 이는 학습 가능한 매개변수의 수를 제한하면서도 LoRA의 낮은 계급으로 인한 제한을 효과적으로 극복합니다. 시각, 언어, 시각-언어 벤치마크에 대한 광범위한 실험을 통해 LoRA와 기존 랜덤 기저 방법의 한계를 체계적으로 평가하고, RandLoRA의 효과를 입증합니다. 특히 시각-언어 작업에서 표준 미세 조정과 LoRA 간의 성능 차이를 크게 줄이거나 제거하는 것으로 나타났습니다.
