Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

LD-RPS : Restauration d'image unifiée Zero-Shot via échantillonnage postérieur récurrent par diffusion latente

Created by
  • Haebom

Auteur

Huaqiu Li, Yong Wang, Tongwen Huang, Hailang Huang, Haoqian Wang, Xiangxiang Chu

Contour

Cet article présente une nouvelle méthode de restauration d'images intégrée, une tâche importante en vision de bas niveau. Les méthodes existantes sont soit spécifiques à une tâche et ont une capacité de généralisation limitée à divers types de corruptions, soit souffrent de contraintes d'ensemble fermé car elles sont entraînées sur des jeux de données appariés. Pour remédier à ce problème, nous proposons une approche intégrée sans jeu de données utilisant l'échantillonnage postérieur récursif avec des modèles de diffusion latente pré-entraînés. La méthode intègre des modèles de compréhension multimodaux pour fournir des informations a priori sémantiques aux modèles génératifs dans des conditions indépendantes de la tâche, utilise des modules légers pour aligner les entrées corrompues sur les préférences génératives du modèle de diffusion, et utilise un raffinement récursif pour l'échantillonnage postérieur. Des expériences approfondies démontrent que la méthode proposée surpasse les méthodes de pointe, validant ainsi son efficacité et sa robustesse. Le code et les données seront disponibles à l'adresse https://github.com/AMAP-ML/LD-RPS .

Takeaways, Limitations

Takeaways:
Restauration intégrée de divers types de corruption d'images sans ensembles de données.
Nous avons amélioré les performances en exploitant des modèles de diffusion latente pré-entraînés et des modèles de compréhension multimodaux.
Amélioration des performances de restauration grâce à une technique d'échantillonnage postérieur récursif.
Des performances de pointe atteintes.
Limitations:
Il manque une analyse sur le coût de calcul de la méthode proposée.
Une analyse plus approfondie des performances de généralisation sur différents types de dommages est nécessaire.
Une dégradation des performances peut se produire pour certains types de dommages.
👍