본 논문은 특정 작업 및 도메인에 맞춘 전문가 모델 구축에 필수적인 대형 기반 모델의 미세 조정에 대한 연구를 제시한다. 특히, 파라미터 효율적인 미세 조정을 위한 새로운 방법인 PiCa (Parameter-efficient Fine-tuning with Column Space Projection)를 제안한다. PiCa는 사전 훈련된 가중치의 주 열 공간에 기울기를 투영하여 적응을 위한 효과적인 귀납적 편향을 제공하며, 새로운 가중치 공유 전략을 통해 파라미터 효율성을 더욱 향상시킨다. 다양한 NLP 및 비전 작업에서 PiCa는 기존 SOTA 방식보다 우수한 성능을 보였다.
