Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Auto-réflexion guidée par l'attention pour la détection d'hallucinations à coup zéro dans les grands modèles de langage

Created by
  • Haebom

Auteur

Qiang Liu, Xinlong Chen, Yue Ding, Bowen Song, Weiqiang Wang, Shu Wu, Liang Wang

Contour

Cet article propose une nouvelle approche, l'auto-réflexion guidée par l'attention (AGSER), pour résoudre le problème des hallucinations, qui entrave l'application efficace des modèles de langage à grande échelle (MLH). AGSER exploite les contributions attentionnelles pour classer les questions d'entrée en questions focalisées sur l'attention et en questions non focalisées sur l'attention. Pour chaque question, il traite séparément le LMH afin de calculer un score de cohérence entre la réponse générée et la réponse initiale. La différence entre les deux scores de cohérence est utilisée comme mesure des hallucinations. AGSER améliore non seulement l'efficacité de la détection des hallucinations, mais réduit également considérablement la charge de calcul en utilisant seulement trois passages sur le LMH et deux ensembles de jetons. Des expériences approfondies utilisant quatre LMH largement utilisés et trois benchmarks d'hallucinations démontrent que la méthode proposée surpasse considérablement les méthodes existantes en matière de détection des hallucinations.

Takeaways, Limitations

Takeaways:
Une nouvelle méthode permettant d’améliorer les performances de détection des hallucinations en utilisant des mécanismes d’attention est présentée.
Obtenir des performances élevées en matière de détection d'hallucinations à un coût de calcul inférieur à celui des méthodes existantes.
Efficacité vérifiée dans divers LLM et benchmarks.
Limitations:
Des recherches supplémentaires sont nécessaires sur les performances de généralisation de la méthode proposée.
Il existe une possibilité de dégradation des performances pour certains types d’hallucinations.
Une évaluation des performances dans des environnements d’application réels est requise.
👍