Cet article propose EcoTransformer, une nouvelle architecture de Transformer, pour répondre à la complexité de calcul et à la consommation énergétique élevées du mécanisme d'attention par produit scalaire étendu du Transformer existant. EcoTransformer génère des vecteurs de contexte de sortie par convolution avec un noyau laplacien, et la distance entre les requêtes et les clés est mesurée à l'aide de la métrique L1. Contrairement à l'attention par produit scalaire, EcoTransformer élimine la multiplication matricielle, réduisant ainsi considérablement la complexité de calcul. Ses performances sont similaires, voire supérieures, à celles du mécanisme d'attention par produit scalaire étendu existant pour les tâches de TALN, de bioinformatique et de vision, tout en réduisant considérablement la consommation énergétique.
