Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Amélioration de la fiabilité du LLM grâce à la modélisation explicite des limites des connaissances

Created by
  • Haebom

Auteur

Hang Zheng, Hongshen Xu, Yuncong Liu, Lu Chen, Pascale Fung, Kai Yu

Contour

Les modèles de langage à grande échelle (MLH) sont sujets aux hallucinations en raison d'une inadéquation de la conscience de soi lors du traitement de requêtes qui franchissent les frontières des connaissances. Les stratégies d'atténuation existantes utilisent des mécanismes d'estimation de l'incertitude ou de rejet de requêtes, mais leur efficacité de calcul et leur utilisabilité sont limitées. Dans cet article, nous proposons un cadre de modélisation explicite des frontières des connaissances (EKBM) qui intègre des systèmes d'inférence rapides et lents afin d'équilibrer fiabilité et utilisabilité. Ce cadre utilise d'abord un modèle rapide pour générer des réponses basées sur la confiance, permettant ainsi l'utilisation immédiate de résultats hautement fiables. En revanche, les prédictions incertaines activent un modèle de raffinement lent pour améliorer la précision. Pour adapter le comportement du modèle à l'objectif proposé, nous proposons un pipeline d'apprentissage hybride afin d'améliorer la conscience de soi sans compromettre les performances de la tâche. Les résultats de l'évaluation de la tâche de suivi de l'état de conversation montrent que l'EKBM offre une meilleure fiabilité du modèle que le modèle de base basé sur l'incertitude. Une analyse plus approfondie montre que le raffinement améliore significativement la précision tout en maintenant une faible charge de calcul. Le cadre équilibre efficacement la précision et la praticité en établissant un paradigme évolutif pour le déploiement de LLM fiables dans des applications sensibles aux erreurs.

Takeaways, Limitations

Takeaways:
Nous présentons un nouveau cadre (EKBM) qui combine des systèmes d'inférence rapides et lents pour améliorer la fiabilité et la convivialité du LLM.
Obtenir une meilleure fiabilité que les modèles de base basés sur l’incertitude.
Améliore considérablement la précision tout en maintenant une faible charge de calcul.
Présentation d'un paradigme évolutif pour un déploiement LLM fiable dans les applications sensibles aux erreurs.
Limitations:
Des recherches supplémentaires sont nécessaires sur les performances de généralisation du cadre proposé.
Il est nécessaire d’évaluer les performances de l’EKBM pour différents types de LLM et d’emplois.
Des recherches supplémentaires sont nécessaires sur la conception détaillée et l’optimisation du pipeline d’apprentissage hybride.
👍