本文探讨了使用转移矩阵高效计算现代状态空间模型 (SSM) 会限制其表达能力的问题。我们提出了一种新颖的结构稀疏参数化技术，以平衡效率和表达能力。PD-SSM 将转移矩阵参数化为列独热矩阵 ($P$) 与复值对角矩阵 ($D$) 的乘积。该技术能够以最优状态大小和深度跟踪有限状态自动机 (FSA) 的状态，同时保持与对角 SSM 相当的计算成本。它在理论上表现出 BIBO 稳定性，并且可以用维度 $N$ 的单层和大小为 $N \times N$ 的线性读出来模拟任何 $N$ 状态 FSA，与传统的结构 SSM 相比，性能显著提升。实验表明，它在各种 FSA 状态跟踪任务上的表现显著优于最先进的 SSM 变体，并且在多类时间序列分类方面达到了与神经控制微分方程相当的性能。此外，我们证明，通过将 PD-SSM 集成到混合 Transformer-SSM 架构中，可以在使用可变长度英语句子编码的复杂 FSA 状态下有效地跟踪 PD-SSM。
