Dans cet article, nous présentons un cadre d'ordonnancement matriciel unifiant diverses architectures d'apprentissage profond (convolutionnelle, récurrente et d'auto-attention). Nous exprimons les opérations convolutionnelles, récurrentes et d'auto-attention sous forme de multiplications de matrices creuses, implémentées respectivement sous forme de matrices triangulaires supérieures, de matrices triangulaires inférieures et de décompositions tensorielles du troisième ordre. Nous prouvons que le cadre proposé est algébriquement isomorphe aux couches CNN, RNN et Transformer standard sous des hypothèses modérées, et démontrons expérimentalement qu'il est aussi performant, voire meilleur, que les modèles existants pour la classification d'images, la prédiction de séries temporelles et la modélisation/classification du langage. Nous simplifions la conception architecturale en sélectionnant des motifs creux, ce qui nous permet d'exploiter le parallélisme GPU et les outils d'optimisation algébrique existants.
