Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

TransLight : Contrôle d'éclairage personnalisé guidé par l'image avec découplage génératif

Created by
  • Haebom

Auteur

Zongming Li, Lianghui Zhu, Haocheng Shen, Longjin Ran, Wenyu Liu, Xinggang Wang

Contour

Les méthodes d'édition d'éclairage existantes ne permettent pas à la fois un contrôle personnalisable des effets d'éclairage et le maintien de l'intégrité du contenu. Dans cet article, nous proposons TransLight, un nouveau framework permettant un transfert d'effets d'éclairage haute fidélité et à haut degré de liberté. La clé réside dans l'extraction des effets d'éclairage à partir d'images de référence, une tâche complexe en situation réelle en raison de la complexité des caractéristiques géométriques étroitement liées au contenu. Pour y parvenir, nous présentons une méthode de découplage génératif qui sépare précisément le contenu de l'image et les effets d'éclairage. À l'aide de deux modèles de diffusion affinés, nous générons un nouveau jeu de données de triplet image-contenu-éclairage à l'échelle d'un million. Nous entraînons ensuite le modèle en utilisant IC-Light comme modèle génératif, en injectant dans le triplet l'image d'éclairage de référence comme signal de conditionnement supplémentaire. TransLight permet la personnalisation et le transfert naturel de divers effets d'éclairage. En séparant soigneusement les effets d'éclairage de l'image de référence, il offre un contrôle de l'éclairage très flexible. Les résultats expérimentaux démontrent que TransLight est la première méthode permettant de transférer avec succès des effets d'éclairage entre différentes images, offrant un contrôle d'éclairage plus personnalisé que les techniques existantes et ouvrant de nouvelles directions pour l'harmonisation de l'éclairage et la recherche d'édition.

Takeaways, Limitations

Takeaways:
Nous présentons une technique de séparation générative capable de séparer de haute qualité le contenu de l'image et les effets d'éclairage.
Développement du framework TransLight qui permet des transitions naturelles et personnalisables de divers effets d'éclairage.
Une nouvelle direction de recherche sur le contrôle de l’éclairage et la coordination/le montage de l’éclairage qui est supérieure aux méthodes existantes.
Création d'un ensemble de données triplet image-contenu-éclairage à l'échelle d'un million.
Limitations:
Manque de description détaillée de la composition et de la qualité spécifiques de l'ensemble de données à l'échelle du million présenté.
Une validation supplémentaire des performances de généralisation dans divers environnements d’éclairage réels est nécessaire.
Manque d’analyse des coûts de calcul et de la vitesse de traitement.
Il peut y avoir un biais en faveur de certains types d’effets d’éclairage.
👍