Mamba Status Space Model(SSM)は、いくつかのタスクで最先端(SOTA)トランスフォーマー大規模言語モデル(LLM)を上回り、広く適用されていますが、循環ベースの深層モデル(SSMなど)の安定した学習に関する主な問題は、循環力学の感度です。この論文では、混合精度微調整(MPFT)やパラメータ効率的な微調整(PEFT)などの一般的な微調整方法で、Mambaの循環力学の感度を経験的に調査します。 Mamba LLMはMPFTとPEFTの組み合わせによる変化に対して非常に安定していますが、Transformer LLMはMPFTとPEFTの異なる組み合わせで全精度モデルと大きく異なる可能性があることを示しています。 Mamba LLMの堅牢性は循環力学によるものであり、これは動的システム理論(特にLyapunov安定性)を使用して安定性が保証されることを証明しています。最後に、MPFTとPEFTを使用して、自然言語処理作業におけるMamba LLMのコンテキスト内学習(ICL)能力を新たに研究し、最近の他の研究を補完します。