Dans cet article, nous proposons un modèle de diffusion à contraintes énergétiques basé sur des réseaux de neurones à passage de messages (MPNN) pour le problème fondamental de l'apprentissage de représentations pour des données structurées de géométries variées (observées ou non). Inspirés par les systèmes physiques, nous intégrons le biais inductif de la diffusion sur les variétés et les contraintes de minimisation d'énergie par couche. Nous révélons une correspondance bijective entre l'opérateur de diffusion et la fonction d'énergie implicitement réduite par le processus de diffusion, et montrons que l'itération aux différences finies qui résout le système de diffusion à contraintes énergétiques induit des couches de propagation de divers types de MPNN opérant sur des structures observées ou latentes. Cela fournit un cadre mathématique unifié pour les architectures de réseaux de neurones générales telles que les MLP, les GNN et les Transformers, qui peuvent représenter le flux de calcul en termes de passage de messages (ou de cas particuliers). Sur la base de ces connaissances, nous avons conçu un nouveau type de modèle neuronal de transmission de messages, le Transformateur inspiré de la diffusion (DIFFormer), doté d'une couche d'attention globale dérivée d'un cadre de diffusion à énergie contrainte et raisonnée. Nous démontrons que ce nouveau modèle offre des performances prometteuses dans des scénarios où la structure des données est observable (de type graphique), partiellement observable ou totalement inobservable sur divers ensembles de données, notamment des réseaux réels, des images, du texte et des particules physiques.
