Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

SSGaussian : transfert de style 3D sensible à la sémantique et préservant la structure

Created by
  • Haebom

Auteur

Jimin Xu, Bosheng Qin, Tao Jin, Zhou Zhao, Zhenhui Ye, Jun Yu, Fei Wu

Contour

Cet article propose un nouveau pipeline de transfert de style 3D qui exploite les connaissances issues de modèles de diffusion 2D pré-entraînés pour relever les défis des méthodes de transfert de style 3D existantes. Ces dernières peinent à extraire et à transférer efficacement la sémantique de style en haute dimension et souffrent d'une ambiguïté structurelle dans l'application de style résultante, rendant l'identification des objets difficile. Ce pipeline se compose de deux étapes : la génération de rendus stylisés des points de vue dominants, puis leur transfert vers des représentations 3D. Plus précisément, l'alignement des styles entre vues permet des interactions entre les caractéristiques de plusieurs points de vue dominants, et le transfert de style au niveau de l'instance transfère efficacement la cohérence entre les points de vue dominants stylisés vers la représentation 3D, ce qui produit des résultats de stylisation structurellement et visuellement cohérents. Les résultats expérimentaux sur différentes scènes démontrent que la méthode proposée surpasse les méthodes de pointe existantes.

Takeaways, Limitations

Takeaways:
Nous présentons un nouveau pipeline qui résout efficacement le problème de transfert de style 3D en exploitant un modèle de diffusion 2D pré-entraîné.
Les techniques d'alignement de style entre vues et de transfert de style au niveau de l'instance améliorent simultanément la fidélité du style et la cohérence au niveau de l'instance.
Il a montré des performances supérieures aux méthodes existantes dans diverses scènes (face avant, environnement à 360 degrés, etc.).
Limitations:
En raison de la forte dépendance au modèle de diffusion 2D, la qualité des résultats de transfert de style 3D peut être affectée par les performances du modèle de diffusion 2D.
Le coût de calcul peut être élevé (bien que cela ne soit pas explicitement indiqué, cela est attendu compte tenu de la complexité du modèle de diffusion 2D et du traitement de la représentation 3D Limitations)
Des recherches supplémentaires sont nécessaires pour déterminer les performances de généralisation de la méthode proposée. (Bien que cela ne soit pas explicitement indiqué, des recherches supplémentaires sont nécessaires, car des performances supérieures sur un ensemble de données spécifique ne garantissent pas des performances supérieures sur tous les ensembles de données.)
👍