Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

KEA Explain : Explications des hallucinations à l'aide de l'analyse du noyau graphique

Created by
  • Haebom

Auteur

Reilly Haskins, Benjamin Adams

Contour

Cet article présente Kernel-Enriched AI (KEA) Explain, un cadre neurosymbolique permettant de détecter et d'expliquer les hallucinations – des énoncés syntaxiquement valides mais factuellement non fondés – générées par des modèles de langage à grande échelle (MLH). KEA détecte et explique les hallucinations en comparant le graphe de connaissances généré par les résultats du LMH avec des données réelles issues de Wikidata ou de documents contextuels. Il utilise des noyaux de graphes et le clustering sémantique pour fournir des explications aux hallucinations, garantissant ainsi robustesse et interprétabilité. Il atteint une précision compétitive dans la détection des hallucinations, tant pour les tâches en domaine ouvert que fermé, tout en générant des explications contrastives pour une plus grande transparence. Cela renforce la fiabilité des LMH dans les domaines à enjeux élevés et pose les bases de futures recherches sur l'amélioration de la précision et l'intégration des connaissances multidisciplinaires.

Takeaways, Limitations

Takeaways:
Un nouveau cadre neurosymbolique pour aborder le problème des hallucinations en LLM
Une méthode robuste et interprétable de détection et d'explication des hallucinations basée sur des noyaux de graphes et un clustering sémantique est présentée.
Atteindre une précision compétitive dans les domaines ouverts et fermés
Améliorer la transparence en générant des explications contrastées
Contribuer à l'amélioration de la fiabilité du LLM dans les zones à haut risque
Jeter les bases de recherches futures sur l’amélioration de la précision et l’intégration de connaissances multidisciplinaires.
Limitations:
Absence de mention spécifique des limitations de performances et des marges d'amélioration de KEA présentées dans cet article.
Des recherches supplémentaires sont nécessaires pour déterminer la généralisabilité et l’applicabilité à différents types d’hallucinations.
Limites des méthodes de construction de graphes de connaissances qui s'appuient sur Wikidata ou sur des documents contextuels spécifiques, et nécessité d'explorer les moyens de les améliorer.
Possibilité de manque d'évaluation et de vérification des performances dans les environnements d'application réels
👍