Mamba 아키텍처에 대한 관심이 증가하고 있지만, Mamba 아키텍처를 위한 매개변수 효율적인 미세 조정(PEFT) 방법은 거의 연구되지 않았다. 본 연구는 Mamba 아키텍처에서 PEFT를 위한 두 가지 주요 통찰력 기반 전략을 제시한다. 첫째, 상태 공간 모델(SSM)이 Mamba 아키텍처의 초석으로 간주되어 전이 학습에서 주요 역할을 할 것으로 예상되었지만, 본 연구 결과는 프로젝터가 SSM이 아닌 전이 학습에 주로 기여함을 밝혔다. 둘째, 이 관찰 결과를 바탕으로 Mamba 아키텍처에 특화된 새로운 PEFT 방법인 Projector-targeted Diagonal-centric Linear Transformation (ProDiaL)을 제안한다. ProDiaL은 프로젝터 가중치를 직접 미세 조정하지 않고, 대각 중심 선형 변환 행렬을 통해 사전 훈련된 프로젝터만 새로운 작업에 맞게 최적화하는 데 중점을 둔다. 이러한 표적 접근 방식을 통해 총 매개변수의 1% 미만을 사용하여 효율적인 작업 적응이 가능하며, 비전 및 언어 Mamba 모델 모두에서 강력한 성능을 보여주어 그 다양성과 효과를 강조한다.
