[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Génération de données synthétiques via des augmentations pour une meilleure ressemblance faciale dans DreamBooth et InstantID

Created by
  • Haebom

Auteur

Koray Ulusan, Benjamin Kiefer

Contour

Cet article évalue l'impact des stratégies d'augmentation visant à maintenir la similarité faciale dans la personnalisation par diffusion stable pour la génération de portraits de qualité professionnelle à partir de photographies amateurs. Pour deux méthodes de personnalisation, DreamBooth et InstantID, nous comparons et analysons l'augmentation conventionnelle (inversion gauche-droite, recadrage et ajustement des couleurs) avec l'augmentation générative utilisant des images de synthèse d'InstantID. Nous évaluons quantitativement la similarité faciale à l'aide de SDXL et d'une nouvelle mesure FaceDistance basée sur FaceNet. Les résultats expérimentaux montrent que l'augmentation conventionnelle peut produire des artefacts qui entravent l'identification des personnes, tandis qu'InstantID améliore la fidélité lorsqu'il est utilisé de manière équilibrée avec des images réelles afin d'éviter le surapprentissage. Une étude utilisateur menée auprès de 97 participants confirme la différence entre la préférence pour l'apparence raffinée d'InstantID et l'identification précise des personnes de DreamBooth. Les résultats de cette étude apportent un éclairage sur les stratégies d'augmentation efficaces pour la génération personnalisée de texte en image.

Takeaways, Limitations

Takeaways:
Nous démontrons qu'une stratégie d'augmentation générative utilisant InstantID offre un réalisme photo et une préférence utilisateur plus élevés dans la génération de portraits personnalisés que DreamBooth.
Contribue à l’amélioration qualitative de la création d’images personnalisées en suggérant les lacunes des stratégies d’augmentation existantes et l’utilisation appropriée des stratégies d’augmentation génératives.
Nous présentons une nouvelle méthode pour évaluer quantitativement la similarité des visages à l’aide d’une nouvelle métrique FaceDistance.
Limitations:
Le nombre de participants à l’étude utilisateur peut être limité (97 participants).
Le recours à un modèle de reconnaissance faciale spécifique (FaceNet) peut limiter la généralisabilité des résultats.
Des recherches supplémentaires sont nécessaires sur d’autres méthodes de personnalisation au-delà d’InstantID et de DreamBooth.
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité à différents types de photographie amateur.
👍