본 논문은 기존의 파라미터 효율적인 미세 조정(PEFT) 방법들이 사전 훈련된 가중치($W$)와 병렬적으로 새로운 저랭크 또는 희소 가중치를 학습하지만, 이러한 가중치를 처음부터 학습하기 때문에 성능 격차가 발생하는 문제점을 지적합니다. 이를 해결하기 위해, VectorFit이라는 새로운 파라미터화 방법을 제시합니다. VectorFit은 $W$에 내재된 기존 지식을 효율적으로 활용하여 특이 벡터와 편향을 적응적으로 학습함으로써, 전체 미세 조정과 비슷한 고랭크 증분 가중치 행렬 $\Delta W$를 생성합니다. 19개의 다양한 언어 및 비전 작업(자연어 이해 및 생성, 질의응답, 이미지 분류, 이미지 생성 등)에 대한 실험을 통해, VectorFit이 기존 PEFT 방법들보다 9배 적은 학습 가능한 파라미터로 우수한 성능을 달성함을 보여줍니다.
