본 논문은 생성 모델의 매개변수 효율적인 미세 조정(PEFT)을 위한 인기 있는 방법인 저랭크 적응(LoRA)의 한계점을 해결하는 새로운 구조인 Granular Low-Rank Adaptation (GraLoRA)를 제시한다. LoRA는 단순성과 효율성으로 인해 높이 평가되지만, 병목 현상이 확대될 때 과적합 문제를 겪는다. GraLoRA는 가중치 행렬을 하위 블록으로 분할하고 각 블록에 고유한 저랭크 어댑터를 할당하여 LoRA의 구조적 병목 현상으로 인한 기울기 얽힘 문제를 해결한다. 계산 비용이나 저장 용량의 증가 없이 LoRA의 한계를 극복하고 표현 능력을 효과적으로 증가시켜 전 미세 조정(FFT) 동작에 더욱 근접하게 만든다. 코드 생성 및 상식 추론 벤치마크 실험을 통해 GraLoRA가 LoRA 및 기타 기준 모델보다 일관되게 성능이 우수하며, HumanEval+에서 Pass@1 기준 최대 +8.5%의 절대적 성능 향상을 달성함을 보여준다. 이러한 개선 사항은 모델 크기와 랭크 설정에 관계없이 적용되므로 GraLoRA는 PEFT를 위한 확장 가능하고 강력한 솔루션이다.
