Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

CoT-RAG : Intégration de la chaîne de pensée et de la génération augmentée par récupération pour améliorer le raisonnement dans les grands modèles linguistiques

Created by
  • Haebom

Auteur

Feiyang Li, Peng Fang, Zhan Shi, Arijit Khan, Fang Wang, Weihao Wang, Xin Zhang, Yongjian Cui

Contour

CoT-RAG est un nouveau framework d'inférence qui améliore les performances des tâches complexes pour les modèles de langage à grande échelle (MLH). Pour pallier les limites de l'inférence par chaîne de pensée (CoT) existante, telles que le manque de fiabilité de l'inférence et des performances d'inférence inférieures avec des invites de code par rapport à celles en langage naturel, nous présentons trois caractéristiques de conception clés. Premièrement, nous construisons une CoT basée sur un graphe de connaissances, ce qui améliore la fiabilité de l'inférence en exploitant le graphe de connaissances pour réguler la génération de la chaîne d'inférence du LLM. Deuxièmement, nous intégrons un RAG de connaissances apprenables, sensible aux cas, dans le graphe de connaissances, qui récupère les sous-cas et les sous-explications pertinents pour fournir des informations apprenables au LLM. Troisièmement, nous implémentons l'invite de pseudoprogrammes, qui encourage le LLM à exécuter des tâches d'inférence sous forme de pseudoprogrammes, améliorant ainsi la rigueur logique. Les résultats d'évaluation sur neuf jeux de données publics pour trois tâches d'inférence démontrent des améliorations significatives de la précision, de 4,0 % à 44,3 % par rapport aux méthodes de pointe. Les tests sur quatre ensembles de données spécifiques à un domaine démontrent également une précision supérieure et une exécution efficace, soulignant son caractère pratique et son évolutivité.

Takeaways, Limitations_

Takeaways:
Nous avons amélioré la fiabilité et les performances d’inférence de LLM en exploitant les graphes de connaissances et RAG.
Rigueur logique accrue du raisonnement grâce à l'aide du programme médical.
Il a démontré sa praticité et son évolutivité en atteignant des performances de pointe sur divers ensembles de données.
Limitations:
Des recherches supplémentaires pourraient être nécessaires pour déterminer les performances de généralisation de la méthode proposée.
Il peut y avoir un biais envers certains domaines.
La qualité et la taille du graphique de connaissances peuvent affecter les performances.
👍