Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Veritas : Détection généralisable de deepfakes via un raisonnement basé sur les modèles

Created by
  • Haebom

Auteur

Hao Tan, Jun Lan, Zichang Tan, Ajian Liu, Chuanbiao Song, Senyuan Shi, Huijia Zhu, Weiqiang Wang, Jun Wan, Zhen Lei

Contour

Cet article met en évidence la complexité et l'évolution des contenus deepfake dans des scénarios réels. Les référentiels académiques existants présentent généralement des sources d'apprentissage homogènes et des images de test de faible qualité, ce qui décourage considérablement le déploiement en situation réelle des détecteurs actuels. Pour combler cette lacune, nous présentons le jeu de données HydraFake, qui simule des défis concrets grâce à des tests de généralisation hiérarchique. HydraFake englobe diverses techniques de deepfake, des falsifications de terrain, des protocoles d'apprentissage et d'évaluation rigoureux, et couvre des architectures de modèles inédites, de nouvelles techniques de falsification et de nouveaux domaines de données. En nous appuyant sur ces ressources, nous proposons Veritas, un détecteur de deepfakes basé sur un modèle de langage multimodal à grande échelle (MLLM). Contrairement aux processus de pensée conventionnels (CoT), nous introduisons l'inférence par reconnaissance de formes, qui intègre des schémas d'inférence clés tels que la « planification » et l'« autoréflexion », afin d'imiter les processus d'investigation humains. Nous proposons également un pipeline d'apprentissage en deux étapes pour intégrer de manière transparente ces capacités d'inférence de deepfakes aux MLLM existants. Les expériences menées sur le jeu de données HydraFake démontrent que les détecteurs précédents affichent d'excellentes performances de généralisation dans les scénarios inter-modèles, mais sont moins performants dans les domaines de la falsification et des données non détectés. Veritas améliore significativement les performances dans divers scénarios OOD, offrant des résultats de détection transparents et précis.

Takeaways, Limitations_

Takeaways:
Nous présentons HydraFake, un nouvel ensemble de données qui reflète les défis réels de détection des deepfakes.
Nous proposons Veritas, un nouveau détecteur de deepfake basé sur un modèle de langage multimodal à grande échelle (MLLM).
Améliorez les performances de détection en imitant les processus de raisonnement médico-légal humain grâce à l'inférence de reconnaissance de formes.
Veritas surpasse les détecteurs existants dans une variété de scénarios hors distribution (OOD).
Fournit des résultats de détection transparents et fiables.
Limitations:
L'ensemble de données HydraFake peut ne pas refléter parfaitement toutes les menaces deepfake du monde réel.
Les performances de Veritas peuvent dépendre de l'entraînement et de l'évaluation sur le jeu de données HydraFake. Des recherches supplémentaires sont nécessaires pour déterminer les performances de généralisation sur d'autres jeux de données.
Les approches basées sur MLLM peuvent être coûteuses en termes de calcul.
Alors que de nouvelles technologies deepfake continuent d’émerger, Veritas nécessite des mises à jour et des améliorations continues.
👍