Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

HalluSegBench : Raisonnement visuel contrefactuel pour l'évaluation des hallucinations de segmentation

Created by
  • Haebom

Auteur

Xinzhuo Li, Adheesh Juvekar, Xingyou Liu, Muntasir Wahed, Kiet A. Nguyen, Ismini Lourentzou

Contour

Dans cet article, nous proposons HalluSegBench, un nouveau benchmark pour l'évaluation des hallucinations du point de vue du raisonnement visuel contrefactuel, afin de résoudre le problème des hallucinations dans les modèles de segmentation vision-langage. HalluSegBench comprend un nouvel ensemble de données de 1 340 paires d'instances contrefactuelles réparties sur 281 classes d'objets uniques, ainsi qu'un ensemble de nouvelles mesures quantifiant la sensibilité aux hallucinations lors d'un montage de scène visuellement cohérent. Les résultats expérimentaux obtenus avec HalluSegBench, comparés à des modèles de segmentation vision-langage de pointe, montrent que les hallucinations basées sur la vision sont beaucoup plus fréquentes que celles basées sur les étiquettes, et que les modèles ont souvent tendance à effectuer des segmentations incorrectes. Cela souligne la nécessité du raisonnement contrefactuel pour diagnostiquer la fidélité à l'ancrage.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons HalluSegBench, une nouvelle référence pour résoudre le problème des hallucinations dans les modèles de segmentation du langage visuel.
◦
ÉValuer efficacement les hallucinations visuelles à l’aide d’une inférence visuelle contrefactuelle.
◦
Nous montrons que les hallucinations visuelles constituent un problème plus grave que les hallucinations basées sur des étiquettes.
◦
Proposer des pistes de recherche pour améliorer la fiabilité des fondements du modèle.
•
Limitations :
◦
L'ensemble de données HalluSegBench peut être de taille relativement petite.
◦
Il est possible que les indicateurs présentés ne capturent pas parfaitement tous les types d’hallucinations.
◦
Il peut s’agir d’un résultat biaisé pour certains types de modèles de segmentation du langage visuel.
👍
Made with Slashpage