본 논문은 LoRA와 같은 Parameter-efficient fine-tuning (PEFT) 방법들이 사전 훈련된 가중치에 저차원 업데이트를 도입하여 전체 모델 미세 조정에 대한 효율적이고 컴팩트한 대안을 제공하지만, 대부분의 기존 접근 방식은 매개변수 공간에 걸쳐 퍼져있는 공간 패턴을 간과할 수 있는 전역 저차원 구조에 의존한다는 점을 지적합니다. 이를 해결하기 위해, 본 논문에서는 가중치 업데이트를 가중치 행렬의 구조화된 블록에 적용되는 저차원 행렬의 합성으로 모델링하는 일반화된 프레임워크인 Localized LoRA를 제안합니다. 이 공식은 훈련 가능한 매개변수의 총 수를 늘리지 않고 매개변수 공간 전체에 걸쳐 조밀하고 국소적인 업데이트를 가능하게 합니다. 전역, 대각선-국소, 완전 국소 저차원 근사 간의 공식적인 비교를 제공하고, 제안된 방법이 일치하는 매개변수 예산 하에서 일관되게 더 낮은 근사 오차를 달성함을 보여줍니다. 합성 및 실제 설정에 대한 실험은 Localized LoRA가 기존 방법에 비해 더욱 표현력이 풍부하고 적응력이 뛰어난 대안을 제공하여 향상된 성능으로 효율적인 미세 조정을 가능하게 함을 보여줍니다.
