Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Réseau de diffusion en une étape sensible au temps pour une super-résolution d'images réelles

Created by
  • Haebom

Auteur

Tainyi Zhang, Zheng-Peng Duan, Peng-Tao Jiang, Bo Li, Ming-Ming Cheng, Chun-Le Guo, Chongyi Li

Contour

Cet article propose un réseau de diffusion mono-étape sensible au temps (TADSR) pour surmonter les limites des méthodes existantes de super-résolution d'images réelles mono-étape (Real-ISR), qui ne parviennent pas à exploiter correctement les connaissances a priori génératives d'un modèle de diffusion stable (SD). Les méthodes existantes utilisent les SD à des pas de temps fixes, sans exploiter pleinement les différentes connaissances a priori génératives des SD selon les pas de temps injectés de bruit. TADSR introduit un encodeur VAE sensible au temps pour projeter des images dans différentes caractéristiques latentes à différents pas de temps. Grâce à des changements dynamiques des pas de temps et des caractéristiques latentes, le modèle d'apprentissage s'aligne mieux sur la distribution des motifs d'entrée du SD pré-entraîné. De plus, la fonction de perte VSD sensible au temps comble l'écart entre le modèle d'apprentissage et les pas de temps du SD, fournissant des informations a priori génératives cohérentes. Par conséquent, TADSR atteint des performances de pointe et une super-résolution contrôlable en une seule étape. Il offre également l'avantage de contrôler le compromis entre fidélité et réalisme en faisant varier les conditions de pas de temps.

Takeaways, Limitations

Takeaways:
Obtenez des performances de super-résolution d'image réelle de pointe en une seule étape.
Offre une possibilité de réglage entre fidélité et réalisme grâce au contrôle des pas de temps.
Résolution du problème de pas de temps fixe de Limitations des méthodes existantes.
Génération de SD pré-entraînés efficaces à l'aide d'un encodeur VAE sensible au temps et d'une fonction de perte VSD sensible au temps : tirer parti des connaissances antérieures.
Limitations:
Manque d'analyse sur le coût de calcul et l'efficacité de la mémoire de la méthode proposée.
Manque d'évaluation des performances de généralisation sur divers types d'ensembles de données d'images.
Des recherches supplémentaires sont nécessaires sur les stratégies optimales de contrôle des pas de temps.
Des explications et justifications supplémentaires de la conception de l'encodeur VAE temporellement conscient et de la fonction de perte VSD temporellement consciente sont nécessaires.
👍