본 논문은 기존의 Parameter-Efficient Fine-Tuning (PEFT) 방법들이 증분 가중치 업데이트의 저랭크(low-rank) 가정으로 인해 성능 저하를 보이는 문제점을 해결하기 위해 VectorFit을 제안합니다. VectorFit은 사전 훈련된 가중치 행렬의 특이 벡터와 바이어스를 적응적으로 학습하는 방식으로, 사전 훈련된 가중치의 구조적 및 변환적 특성을 활용하여 Full Fine-tuning에 필적하는 고랭크 업데이트를 가능하게 합니다. 17개의 다양한 언어 및 비전 작업 데이터셋(자연어 이해 및 생성, 질의응답, 이미지 분류, 이미지 생성 등)에 대한 광범위한 실험을 통해 VectorFit이 기존 방법들보다 우수한 성능을 보이며, 특히 제한된 자원 환경에서도 효과적임을 보여줍니다. 기존 PEFT 방법들에 비해 9배 적은 학습 가능한 파라미터로 우수한 성능을 달성합니다.
