Mamba 상태 공간 모델(SSM)이 여러 작업에서 최첨단(SOTA) Transformer 대규모 언어 모델(LLM)을 능가하고 널리 적용되고 있지만, 순환 기반 심층 모델(예: SSM)의 안정적인 학습에 대한 주요 문제는 순환 역학의 민감성입니다. 본 논문에서는 혼합 정밀도 미세 조정(MPFT) 및 매개변수 효율적 미세 조정(PEFT)과 같은 일반적인 미세 조정 방법에서 Mamba의 순환 역학의 민감성을 경험적으로 조사합니다. Mamba LLM은 MPFT와 PEFT의 조합으로 인한 변화에 매우 안정적이지만, Transformer LLM은 MPFT와 PEFT의 다른 조합에서 전체 정밀도 모델과 크게 달라질 수 있음을 보여줍니다. Mamba LLM의 강건성은 순환 역학 때문이며, 이는 동적 시스템 이론(특히 Lyapunov 안정성)을 사용하여 안정성이 보장됨을 증명합니다. 마지막으로, MPFT와 PEFT를 사용하여 자연어 처리 작업에서 Mamba LLM의 문맥 내 학습(ICL) 능력을 새롭게 연구하여 최근의 다른 연구를 보완합니다.
