Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Les modèles de diffusion sont secrètement échangeables : parallélisation des DDPM via l'autospéculation

Created by
  • Haebom

Auteur

Hengyuan Hu, Aniket Das, Dorsa Sadigh, Nima Anari

Contour

Cet article exploite la relation entre les DDPM et la localisation probabiliste pour surmonter le goulot d'étranglement de l'inférence des modèles probabilistes de diffusion (DDPM) débruiteurs. En prouvant que l'incrémentalité des DDPM satisfait la propriété d'interchangeabilité, nous démontrons que diverses techniques d'optimisation des performances basées sur des modèles autorégressifs peuvent être appliquées au contexte de diffusion. Plus précisément, nous proposons le « décodage prédictif automatique » (ASD), une extension de l'algorithme de décodage prédictif largement utilisé pour les DDPM, sans nécessiter de modèles auxiliaires. Nous démontrons par une analyse théorique que l'ASD permet d'obtenir des accélérations d'exécution parallèles de $\tilde{O}(K^{\frac{1}{3}})$ par rapport aux DDPM séquentiels à K étapes, et démontrons expérimentalement qu'il accélère significativement l'inférence des DDPM dans diverses applications.

Takeaways, Limitations

Takeaways:
Nous présentons ASD, un nouvel algorithme qui améliore considérablement la vitesse d'inférence des DDPM.
Nous fournissons un cadre général pour l’application de techniques d’optimisation de modèles autorégressifs aux DDPM.
L’analyse théorique soutient l’accélération du TSA.
Vérifier expérimentalement l’efficacité de l’ASD dans divers domaines.
Limitations:
Bien que les améliorations de performances de l'ASD soient basées sur des analyses théoriques et des résultats expérimentaux, elles ne garantissent pas le même niveau d'accélération pour tous les DDPM et dans toutes les situations.
L'accélération de $\tilde{O} (K^{\frac{1}{3}})$ est un maximum théorique, et les performances réelles peuvent varier en fonction de l'implémentation et du matériel.
Ce document ne fournit peut-être pas une description détaillée des détails de mise en œuvre de l’ASD.
👍