Cet article fournit un aperçu du fonctionnement des modèles sélectifs d'espace d'état (SSM) en analysant leur pouvoir expressif et leurs performances de généralisation de longueur sur des tâches de langage de règles (émulation d'automates à états finis (FSA). Pour surmonter les limitations des architectures existantes basées sur les SSM, nous présentons des modèles sélectifs d'espace d'état dense (SD-SSM), le premier SSM sélectif qui présente une généralisation de longueur parfaite sur une variété de tâches de langage de règles en utilisant une seule couche. Les SD-SSM utilisent un dictionnaire de matrices de transition dense, un mécanisme de sélection softmax qui génère une combinaison convexe des matrices a priori à chaque pas de temps, et une lecture composée d'une régularisation hiérarchique et d'un mappage linéaire. Nous évaluons également des variantes de SSM sélectifs diagonaux en considérant leurs performances empiriques sur des automates commutatifs et non commutatifs, et expliquons les résultats expérimentaux par des considérations théoriques.
