본 논문은 LoRA와 같은 Parameter-efficient fine-tuning (PEFT) 방법의 한계점을 해결하기 위해, 특징을 인식하는 투영 프레임워크인 IPA(Information-Preserving Adaptation)를 제안합니다. LoRA는 무작위로 초기화된 차원 축소를 사용하여 정보 손실이 발생하는데, IPA는 주요 주성분을 근사하는 알고리즘을 통해 축소된 은닉 공간에서 정보를 명시적으로 보존합니다. 선형 경우에, IPA는 무시할 수 있는 추론 오버헤드로 효율적인 프로젝터 사전 학습을 가능하게 합니다.
