본 논문은 기존의 파라미터 효율적인 미세조정(PEFT) 방법인 LoRA가 전역적 저차원 구조에 의존하여 공간적 패턴을 간과할 수 있다는 점을 지적하며, 가중치 업데이트를 가중치 행렬의 구조화된 블록에 적용되는 저차원 행렬의 합성으로 모델링하는 Localized LoRA 프레임워크를 제안합니다. 이는 전체 학습 가능한 파라미터 수를 늘리지 않고도 파라미터 공간 전체에 걸쳐 조밀하고 국소적인 업데이트를 가능하게 합니다. 전역, 대각선-국소, 완전 국소 저차원 근사 간의 공식적인 비교를 통해 제안된 방법이 매칭된 파라미터 예산 하에서 일관되게 더 낮은 근사 오차를 달성함을 보여줍니다. 합성 및 실제 설정에 대한 실험을 통해 Localized LoRA가 기존 방법보다 더 표현력이 풍부하고 적응력이 뛰어난 대안임을 보여주고, 향상된 성능으로 효율적인 미세 조정을 가능하게 함을 입증합니다.
