Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

RePPL : recalibrage de la perplexité par l'incertitude dans la propagation sémantique et la génération de langage pour la détection d'hallucinations explicables par assurance qualité

Created by
  • Haebom

Auteur

Yiming Huang, Junyan Zhang, Zihao Wang, Biquan Bie, Yunzhong Qiu, Yi R. Fung, Xinlei He

Contour

Cet article propose RePPL, une nouvelle méthode pour résoudre le problème des hallucinations dans les modèles de langage à grande échelle (MLH). Les méthodes existantes de détection des hallucinations se concentrent sur la mesure de l'incertitude, mais ne parviennent pas à expliquer la cause des hallucinations. Pour surmonter cette limitation, nous calculons un score d'incertitude au niveau du jeton en prenant en compte à la fois l'incertitude survenant lors de la propagation sémantique et de la génération du langage. Ces scores sont ensuite agrégés sous forme de moyenne logarithmique de type perplexité pour produire un score global d'hallucinations. Notre méthode affiche d'excellentes performances, atteignant une AUC moyenne de 0,833 sur divers ensembles de données d'assurance qualité et modèles de pointe, démontrant l'utilité des scores d'incertitude au niveau du jeton pour expliquer la cause des hallucinations.

Takeaways, Limitations

Takeaways:
Une nouvelle approche pour résoudre le problème d'hallucination du LLM (en tenant compte de l'incertitude dans le processus de propagation du sens et de production du langage)
Les scores d’incertitude au niveau des jetons fournissent une explication possible de la cause des hallucinations.
Excellentes performances de détection d'hallucinations (ASC moyenne de 0,833) sur divers ensembles de données d'assurance qualité et modèles de pointe.
Découvrir et exploiter des schémas déroutants d'hallucinations
Limitations:
L'évaluation des performances de RePPL se limite à un ensemble de données d'assurance qualité spécifique et à des modèles de pointe. Des expériences supplémentaires sur un éventail plus large d'ensembles de données et de modèles sont nécessaires.
L’analyse des schémas d’hallucinations à l’aide de scores d’incertitude au niveau des jetons en est encore à ses balbutiements et nécessite une analyse et une validation plus approfondies.
Des recherches supplémentaires sont nécessaires sur les performances de généralisation et l’évolutivité de la méthode proposée.
👍