Mặc dù Mô hình Không gian Trạng thái (SSM) Mamba vượt trội hơn các Mô hình Ngôn ngữ Quy mô Lớn (LLM) Transformer hiện đại (SOTA) trong nhiều tác vụ và được ứng dụng rộng rãi, nhưng một thách thức quan trọng đối với việc huấn luyện ổn định các mô hình sâu dựa trên hồi quy (ví dụ: SSM) là độ nhạy của chúng đối với động lực hồi quy. Trong bài báo này, chúng tôi nghiên cứu thực nghiệm độ nhạy của Mamba đối với động lực hồi quy theo các phương pháp tinh chỉnh phổ biến, chẳng hạn như tinh chỉnh độ chính xác hỗn hợp (MPFT) và tinh chỉnh hiệu quả tham số (PEFT). Chúng tôi chứng minh rằng LLM Mamba có độ tin cậy cao trước các biến thể trong tổ hợp MPFT và PEFT, trong khi LLM Transformer có thể lệch đáng kể so với mô hình độ chính xác đầy đủ theo các tổ hợp MPFT và PEFT khác nhau. Chúng tôi quy độ tin cậy của LLM Mamba cho động lực hồi quy và chúng tôi chứng minh rằng tính ổn định của nó được đảm bảo bằng lý thuyết hệ thống động lực (cụ thể là độ ổn định Lyapunov). Cuối cùng, chúng tôi bổ sung cho công trình gần đây bằng cách khám phá khả năng học theo ngữ cảnh (ICL) của Mamba LLM đối với các tác vụ xử lý ngôn ngữ tự nhiên bằng MPFT và PEFT.
