Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

L'attention d'un baiser : exploration des cartes d'attention dans la diffusion vidéo pour XAIxArts

Created by
  • Haebom

Auteur

Adam Cole, Mick Grierson

Contour

Cet article présente des recherches artistiques et techniques sur le mécanisme d'attention des convertisseurs de diffusion vidéo. Inspirée par les premiers vidéastes qui manipulaient des signaux vidéo analogiques pour créer de nouvelles esthétiques visuelles, cette étude propose une méthode d'extraction et de visualisation de cartes d'attention croisée à partir de modèles vidéo génératifs. Basé sur le modèle open source Wan, notre outil offre une fenêtre interprétable sur le comportement temporel et spatial de l'attention lors de la conversion de texte en vidéo. À travers des recherches exploratoires et des études de cas artistiques, nous examinons le potentiel des cartes d'attention, à la fois comme outil d'analyse et comme ressource artistique brute. Cette étude contribue au domaine en plein essor de l'IA explicable pour l'art (XAIxArts), invitant les artistes à se réapproprier le fonctionnement interne de l'IA comme médium créatif.

Takeaways, Limitations

Takeaways:
Une nouvelle méthode de visualisation et d’interprétation du mécanisme d’attention des transformateurs de diffusion vidéo est présentée.
Meilleure compréhension du processus de génération de texte en vidéo
Suggérer la possibilité d’utiliser des cartes d’attention dans des activités créatives artistiques.
Contribution au domaine des XAIxArts
Limitations:
Manque de généralisabilité à d’autres modèles en raison de la méthodologie spécifique au modèle Wan.
L'existence d'aspects subjectifs dans l'interprétation des cartes d'attention.
L’échelle limitée de l’étude de cas nécessite des recherches supplémentaires sur la généralisabilité.
👍