Cet article présente une nouvelle architecture visant à améliorer l'efficacité des jetons en prenant en compte le fait que les modèles de langage à grande échelle (LLM) sont soumis à des contraintes de données plutôt qu'à des contraintes de calcul. Nous proposons un transformateur 2-simplicial, qui généralise l'attention conventionnelle par produit scalaire à une fonction trilinéaire, et démontrons expérimentalement qu'il permet d'obtenir une efficacité de jetons supérieure à celle du transformateur standard grâce à une implémentation efficace utilisant le noyau Triton. En particulier, nous démontrons que des modèles de taille similaire surpassent les modèles basés sur l'attention par produit scalaire avec un budget de jetons fixe pour les tâches de mathématiques, de codage, de raisonnement et de logique, et nous analysons quantitativement la variation exponentielle de la loi d'échelle pour les tâches de connaissance et de raisonnement.
