Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

SIDA : Détection, localisation et explication des deepfakes d'images sur les réseaux sociaux avec un grand modèle multimodal

Created by
  • Haebom

Auteur

Zhenglin Huang, Jinwei Hu, Xiangtai Li, Yiwei He, Xingyu Zhao, Bei Peng, Baoyuan Wu, Xiaowei Huang, Guangliang Cheng

Contour

Cet article aborde la gravité de la prolifération d'informations erronées due à la propagation d'images deepfake sur les réseaux sociaux et propose un nouvel ensemble de données et un nouveau modèle de détection pour y remédier. Nous présentons un ensemble de données de détection d'images de réseaux sociaux (SID-Set) à grande échelle et diversifié, contenant plus de 300 000 images générées/manipulées par l'IA et images réelles. Nous présentons également SIDA (Social media Image Detection, localization, and explanation Assistant), un nouveau cadre de détection, de localisation et d'explication des deepfakes qui détermine l'authenticité d'une image, identifie la zone manipulée et fournit des explications textuelles pour les critères de jugement du modèle. SIDA surpasse les modèles de pointe existants, et nous prévoyons de rendre le code, le modèle et l'ensemble de données accessibles au public.

Takeaways, Limitations_

Takeaways:
Fournir un ensemble de données de détection de deepfakes sur les réseaux sociaux à grande échelle et diversifié (SID-Set)
Proposer un cadre SIDA qui intègre la détection, la localisation et la description d'images deepfake
Vérification des performances du modèle SIDA qui montre des performances supérieures par rapport aux modèles existants
Permettre la recherche en rendant publics le code, les modèles et les ensembles de données
Limitations:
Une vérification supplémentaire de la diversité et du réalisme de SID-Set est nécessaire.
Des recherches supplémentaires sont nécessaires sur les performances de généralisation du modèle SIDA
Il est nécessaire d'évaluer les performances du modèle SIDA dans un environnement réel de médias sociaux.
Une analyse plus approfondie du potentiel explicatif du modèle SIDA est nécessaire
👍