本文强调，现有的参数高效微调 (PEFT) 方法 LoRA 依赖于全局低维结构，而该结构可能会忽略空间模式。我们提出了一个局部化 LoRA 框架，将权重更新建模为应用于权重矩阵结构化块的低维矩阵合成。这使得能够在整个参数空间进行密集的局部更新，而无需增加可学习参数的总数。通过对全局、对角局部和完全局部低维近似进行形式比较，表明所提出的方法在匹配的参数预算下始终能够实现较低的近似误差。在模拟和真实环境中进行的实验表明，局部化 LoRA 是一种比现有方法更具表现力和适应性的替代方案，能够实现高效的微调并提升性能。
