Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Correspondance énergétique : unification de la correspondance des flux et des modèles énergétiques pour la modélisation générative

Created by
  • Haebom

Auteur

Michal Balcerak, Tamaz Amiranashvili, Antonio Terpin, Suprosanna Shit, Lea Bogensperger, Sebastian Kaltenbach, Petros Koumoutsakos, Bjoern Menze

Contour

Dans cet article, nous proposons un cadre d'appariement d'énergie pour améliorer la flexibilité des modèles génératifs basés sur les flux. Alors que les modèles basés sur les flux existants peinent à intégrer des observations partielles ou des informations a priori supplémentaires, les modèles basés sur l'énergie (EBM) gèrent efficacement ce problème en ajoutant un terme d'énergie scalaire. La méthode proposée déplace les échantillons le long d'un chemin de transport optimal, de la distribution de bruit à la distribution de données, et les guide vers la distribution d'équilibre de Boltzmann grâce à un terme d'énergie entropique à mesure qu'ils approchent de la variété de données. Cette dynamique est paramétrée par un champ scalaire unique, indépendant du temps, qui sert de générateur robuste et d'information a priori flexible pour une régularisation efficace du problème inverse. Nous démontrons des performances supérieures sur la génération d'images CIFAR-10 et ImageNet par rapport aux EBM existants, et maintenons un apprentissage sans simulation, même loin de la variété de données. Nous démontrons également des performances dans un contexte de génération de protéines en introduisant des énergies d'interaction qui prennent en charge l'exploration multimode. Nous présentons un cadre simplifié pour l'apprentissage de l'énergie potentielle scalaire sans contraintes de temps, générateurs auxiliaires ou réseaux supplémentaires, ce qui constitue une différence significative par rapport aux méthodes EBM existantes.

Takeaways, Limitations

Takeaways:
Nous combinons les avantages des modèles basés sur l’énergie (incorporant des observations partielles et des informations préalables supplémentaires) avec des modèles basés sur les flux pour augmenter la flexibilité.
Nous simplifions le modèle et permettons une formation efficace en utilisant un seul champ scalaire indépendant du temps.
Nous obtenons de meilleures performances que les EBM conventionnels sur CIFAR-10 et ImageNet.
Nous étendons le champ d’application en introduisant l’énergie d’interaction pour explorer différents modes.
Réduisez les coûts de calcul en vous entraînant sans simulation.
Limitations:
Il manque une analyse expérimentale approfondie sur les performances générales et les limites de la méthode proposée.
Des évaluations de performance pour des applications spécifiques (par exemple, la production de protéines) sont présentées, mais des études supplémentaires sont nécessaires pour déterminer la généralisabilité à d’autres domaines.
L’approche simplifiée consistant à utiliser des champs scalaires ne garantit pas toujours des performances optimales pour tous les types de données ou de problèmes de génération.
Des recherches supplémentaires sont nécessaires sur l’évolutivité vers des distributions de données plus complexes ou des données de grande dimension.
👍