Si bien el Modelo de Espacio de Estados (SSM) Mamba supera a los Modelos de Lenguaje a Gran Escala (LLM) Transformer de última generación (SOTA) en numerosas tareas y se aplica ampliamente, un desafío clave para el entrenamiento estable de modelos profundos basados en recurrencia (p. ej., SSM) es su sensibilidad a la dinámica recurrente. En este artículo, investigamos empíricamente la sensibilidad de Mamba a la dinámica recurrente bajo métodos comunes de ajuste fino, como el ajuste fino de precisión mixta (MPFT) y el ajuste fino de parámetros eficientes (PEFT). Demostramos que el LLM Mamba es altamente robusto a las variaciones en la combinación de MPFT y PEFT, mientras que el LLM Transformer puede desviarse significativamente del modelo de precisión completa bajo diferentes combinaciones de MPFT y PEFT. Atribuimos la robustez del LLM Mamba a la dinámica recurrente y demostramos que su estabilidad está garantizada mediante la teoría de sistemas dinámicos (específicamente, la estabilidad de Lyapunov). Por último, complementamos el trabajo reciente explorando las capacidades de aprendizaje en contexto (ICL) del Mamba LLM para tareas de procesamiento del lenguaje natural utilizando MPFT y PEFT.
