Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Comment déplacer votre dragon : synthèse de texte en mouvement pour les objets à vocabulaire étendu
Created by
Haebom
Auteur
Wonkwang Lee, Jongwon Jeong, Taehong Moon, Hyeon-Jong Kim, Jaehyeon Kim, Gunhee Kim, Byeong-Uk Lee
Contour
Cet article met en évidence le potentiel de la synthèse de mouvement pour diverses catégories d'objets et aborde deux défis majeurs : l'absence d'un jeu de données de mouvement complet, riche en mouvements et annotations de haute qualité, et l'incapacité à gérer des modèles squelettiques hétérogènes pour divers objets. À cette fin, nous étendons le jeu de données Truebones Zoo avec des descriptions textuelles détaillées, introduisons une technique d'augmentation du rigging qui maintient une dynamique cohérente tout en générant des données de mouvement diverses, et repensons un modèle de diffusion de mouvement qui s'adapte dynamiquement à des modèles squelettiques arbitraires. Les résultats expérimentaux démontrent que la méthode proposée génère des mouvements haute fidélité à partir de descriptions textuelles pour des objets divers, voire invisibles, fournissant ainsi une base solide pour la synthèse de mouvement pour diverses catégories d'objets et modèles squelettiques. Les résultats qualitatifs sont disponibles dans https://t2m4lvo.github.io .
Nous avons amélioré l'ensemble de données Truebones Zoo, qui contient une grande variété de mouvements d'animaux, en ajoutant des descriptions textuelles pour le rendre adapté à la synthèse de mouvements basée sur du texte.
◦
Nous présentons une technique d’augmentation du gréement et un modèle de diffusion de mouvement adaptatif dynamique qui peut être appliqué à diverses structures squelettiques.
◦
Nous démontrons expérimentalement qu’une synthèse de mouvement de haute qualité est possible pour une variété d’objets, même des objets inconnus.
◦
Cela ouvre de nouvelles possibilités dans le domaine de la synthèse de mouvement basée sur du texte.
•
Limitations:
◦
ÉTant donné qu'il est basé sur l'ensemble de données Truebones Zoo, ses performances de généralisation à d'autres types d'objets nécessitent une étude plus approfondie.
◦
Une analyse plus approfondie de l’efficacité et des limites des techniques d’augmentation du gréement est nécessaire.
◦
Le coût de calcul et la complexité du modèle proposé doivent être pris en compte.
◦
Il se peut qu’il ne reflète pas pleinement la diversité et la complexité des données du monde réel.
