본 논문은 사전 훈련된 모델을 미세 조정하는 데 있어 경험적으로 성공적인 저랭크 적응(LoRA)에 대한 이론적 이해가 부족함을 지적하며, 신중하게 설계된 초기화를 사용한 1차 방법이 새로운 작업에 모델을 적응시키는 방법에 대한 이론적 분석을 시도합니다. 특히, 기울기 흐름(GF) 하에서 행렬 분해(MF)에 대한 LoRA의 학습 역학을 분석하여 초기화의 중요성을 강조합니다. 작은 초기화의 경우, GF가 최적 해의 근방으로 수렴하고, 초기화가 작을수록 최종 오차가 낮아짐을 이론적으로 보입니다. 최종 오차는 사전 훈련된 모델과 목표 행렬의 특이 공간 간의 정렬 오차에 영향을 받으며, 초기화 규모를 줄이면 정렬이 개선됨을 보여줍니다. 이러한 정렬 오차를 해결하기 위해 MF에서 LoRA를 위한 스펙트럼 초기화를 제안하고, 작은 스펙트럼 초기화를 사용한 GF가 임의의 정밀도로 미세 조정 작업에 수렴함을 이론적으로 증명합니다. MF와 이미지 분류의 수치 실험을 통해 연구 결과를 검증합니다.
