본 논문은 Transformer 아키텍처를 대체할 가능성이 있는 Mamba 아키텍처에 대한 Parameter-Efficient Fine-Tuning (PEFT) 방법을 제시합니다. 기존의 Mamba 아키텍처에서 State-Space Models (SSMs)의 중요성이 강조되었지만, 본 연구는 전이 학습에 있어서는 Projectors가 SSMs보다 훨씬 중요한 역할을 한다는 것을 발견했습니다. 이러한 발견을 바탕으로, pretrained Projectors만을 Diagonal-centric Linear Transformation을 통해 최적화하는 새로운 PEFT 방법인 ProDiaL을 제안합니다. ProDiaL은 전체 파라미터의 1% 미만만을 사용하면서도 비전 및 언어 Mamba 모델에서 모두 강력한 성능을 보여줍니다.
