Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Exploration de l'incertitude de réponse dans les MLLM : une évaluation empirique dans des scénarios trompeurs

Created by
  • Haebom

Auteur

Yunkai Dang, Mengxi Gao, Yibo Yan, Xin Zou, Yanggan Gu, Jungang Li, Jingyu Wang, Peijie Jiang, Aiwei Liu, Jia Liu, Xuming Hu

Contour

Cet article explore la vulnérabilité aux erreurs des modèles linguistiques multimodaux à grande échelle (MLLM), et plus particulièrement le phénomène d'incertitude de réponse à la désinformation. À l'aide de neuf ensembles de données standard et de douze MLLM open source de pointe, les chercheurs ont constaté qu'un seul indice trompeur entraînait un taux d'inversion de 65 % des réponses précédemment correctes. Pour analyser quantitativement ce phénomène, nous avons proposé un pipeline d'évaluation en deux étapes (validation de la réponse initiale et mesure du taux d'erreur après injection de l'instruction trompeuse) et créé un référentiel d'incertitude multimodale (MUB) en collectant des exemples présentant des taux d'erreur élevés. Des évaluations approfondies portant sur douze modèles open source et cinq modèles fermés ont révélé un taux d'erreur moyen supérieur à 86 %, avec 67,19 % pour les indices explicites et 80,67 % pour les indices implicites. Enfin, nous avons affiné les MLLM open source sur un ensemble de données à directions mixtes de 2 000 échantillons, réduisant considérablement les taux d'erreur (6,97 % pour les signaux explicites et 32,77 % pour les signaux implicites).

Takeaways, Limitations

•
Takeaways:
◦
Nous avons étudié systématiquement la vulnérabilité aux erreurs de MLLM et son incertitude en réponse à la désinformation.
◦
Un nouveau benchmark (MUB) a été proposé pour améliorer la fiabilité du MLLM.
◦
Nous montrons que le taux d’erreur du MLLM peut être considérablement réduit grâce à un réglage fin.
◦
En analysant la vulnérabilité du MLLM à divers types d’informations trompeuses et en suggérant des moyens de l’atténuer, nous pouvons contribuer à améliorer la sécurité et la fiabilité du MLLM dans les applications pratiques.
•
Limitations:
◦
Les ensembles de données de référence et de réglage fin actuels se concentrent sur des types d’erreurs spécifiques, ce qui peut limiter leur généralisabilité à d’autres types d’erreurs.
◦
Même après un réglage précis, le taux d’erreur pour les signaux implicites reste assez élevé.
◦
ÉTant donné que les modèles utilisés sont limités à l’open source, des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité des résultats aux modèles commerciaux.
◦
La taille relativement petite de l’ensemble de données utilisé dans le processus de réglage fin pour réduire le taux d’erreur peut être soulignée comme une limitation.
👍
Made with Slashpage