Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Quand les deepfakes semblent réels : détection des visages générés par l'IA avec des données non étiquetées en raison de problèmes d'annotation

Created by
  • Haebom

Auteur

Zhiqiang Yang, Renshuai Tao, Xiaolong Zheng, Guodong Yang, Chunjie Zhang

Contour

Pour remédier à la dépendance des méthodes existantes de détection des deepfakes aux données étiquetées, cet article propose un réseau de guidage à double chemin (DPGNet) exploitant des données non étiquetées à grande échelle. DPGNet se compose de deux modules principaux : l’un comble l’écart de domaine entre les images de visage générées par différents modèles génératifs et l’autre exploite des échantillons d’images non étiquetées. Le premier module, l’alignement inter-domaines guidé par texte, intègre les intégrations visuelles et textuelles dans un espace de caractéristiques invariant au domaine grâce à des invites apprenables. Le second module, la génération de pseudo-étiquettes pilotée par le programme, exploite dynamiquement des échantillons non étiquetés riches en informations. De plus, il prévient les oublis grâce à la distillation des connaissances inter-domaines. Les résultats expérimentaux sur 11 jeux de données démontrent que DPGNet surpasse de 6,3 % la méthode de pointe (SoTA). Cela démontre l’efficacité de DPGNet pour résoudre le problème d’annotation de plus en plus réaliste des deepfakes en exploitant les données non étiquetées.

Takeaways, Limitations_

Takeaways:
Nous présentons une nouvelle méthode permettant d’utiliser efficacement des données à grande échelle et non étiquetées pour améliorer les performances de détection des deepfakes.
Nous présentons des stratégies efficaces pour réduire les écarts de domaine et utiliser des données non étiquetées (alignement inter-domaines guidé par le texte et génération de pseudo-étiquettes pilotées par le programme).
Contribue à atténuer les difficultés du travail d'annotation dans le domaine de la détection de deepfake.
Permet d'obtenir des améliorations de performances significatives par rapport aux modèles les plus performants existants.
Limitations:
Une vérification supplémentaire des performances de généralisation de la méthode proposée est nécessaire.
Une évaluation de la robustesse de divers types de modèles de génération de deepfakes est nécessaire.
Une évaluation des performances dans des environnements réels de réseaux sociaux en ligne est nécessaire.
Il peut y avoir une dépendance à l’égard de l’ingénierie rapide.
👍