본 논문은 자원 제약 하에서 하위 작업에 대규모 언어 모델(LLM)을 효율적으로 적용하기 위해 최소한의 계산 오버헤드로 LLM을 미세 조정하는 방법을 제시합니다. Low-Rank Adaptation (LoRA) 와 같은 매개변수 효율적인 미세 조정(PEFT) 방법은 매개변수의 작은 하위 집합만 업데이트하여 이를 용이하게 합니다. 그러나 최근 연구에 따르면 LoRA는 특히 스펙트럼 특성 측면에서 전체 미세 조정(Full FT)과 학습 동작이 다릅니다. 본 논문에서는 미세 조정된 가중치의 스펙트럼 특성을 기반으로 하는 최초의 이론적 근거를 갖춘 PEFT 방법인 PiCa를 제안합니다. PiCa는 기울기를 사전 훈련된 가중치의 저차원 열 부분 공간에 투영하며, Full FT와 더욱 밀접하게 정렬된 학습 패턴을 보여줍니다. 또한, PiCa와 가중치 공유를 결합하면 훈련 가능한 매개변수의 수가 크게 줄어들면서 성능 저하 없이 LoRA보다 13배 적은 훈련 가능한 매개변수를 사용하여 우수한 성능을 달성할 수 있음을 보여줍니다. 광범위한 실험을 통해 PiCa가 기존 PEFT 방법에 비해 최첨단 성능을 달성함을 보여줍니다.
