본 논문은 저랭크 적응(LoRA)의 매개변수 효율적인 미세 조정 방법에서 기존 최적화기의 변환 불변성 결여 문제를 해결하기 위해 LoRA-RITE를 제시합니다. LoRA-RITE는 적응적 행렬 전처리 방법으로, 변환 불변성을 달성하면서 계산 효율성을 유지합니다. 이론적 분석과 Gemma 2B, 7B, mT5-XXL 등 다양한 모델과 LLM 작업에 대한 실험을 통해 기존 최적화기 대비 성능 향상을 보였습니다. 예를 들어, Gemma-2B의 LoRA 미세 조정 시 Adam을 LoRA-RITE로 대체했을 때 Super-Natural Instructions에서 4.6%의 정확도 향상, 다른 네 가지 LLM 벤치마크(HellaSwag, ArcChallenge, GSM8K, OpenBookQA)에서 3.5%의 정확도 향상을 달성했습니다.
