Cet article propose un nouveau mécanisme d'attention, appelé Attention Adaptative par Filtre (AFA). L'AFA intègre directement un modèle dynamique apprenable dans le calcul des pondérations d'attention. Au lieu de comparer directement les requêtes et les clés, elle modélise la séquence d'entrée comme des observations discrètes d'une équation différentielle stochastique linéaire (EDS). Simultanément, en appliquant un modèle dynamique linéaire avec une matrice d'état diagonalisable et une covariance de bruit, elle propage efficacement l'incertitude mutuelle dynamique en utilisant la solution sous forme fermée de l'équation différentielle de Lyapunov. L'attention émerge naturellement comme une solution de vraisemblance maximale à cette EDS linéaire, et les pondérations d'attention correspondent à une repondération résiduelle robuste basée sur la précision mutuelle propagée. L'imposition de contraintes supplémentaires sur les valeurs propres de la matrice d'état produit une variante simplifiée présentant la même complexité de calcul et de mémoire que l'attention standard. En utilisant une approximation aux petits angles et en limitant la disparition des éléments dynamiques et du bruit de processus, il est possible de retrouver l'attention typique du produit scalaire.
