Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Chaîne d'agents collaborative pour la synergie des connaissances récupérées par paramètres

Created by
  • Haebom

Auteur

Yi Jiang, Sendong Zhao, Jianbo Li, Haochun Wang, Lizhe Zhang, Yan Liu, Bing Qin

Contour

Cet article propose le cadre de la chaîne d'agents collaborative (CoCoA) pour relever le défi Limitations de la génération augmentée de récupération (RAG), un cadre prometteur pour améliorer les performances des modèles de langage à grande échelle (LLM) dans les tâches intensives en connaissances. Les méthodes RAG existantes ne parviennent pas à exploiter pleinement la synergie entre la connaissance des paramètres internes du modèle et la connaissance de la récupération externe. CoCoA surmonte ce défi grâce à une approche multi-agents. Tout d'abord, nous présentons CoCoA-zero, qui effectue une inférence après induction conditionnelle des connaissances. Sur cette base, nous développons CoCoA, qui affine le LLM en synthétisant un chemin d'inférence multi-agent étendu. Les résultats expérimentaux démontrent que CoCoA-zero et CoCoA atteignent des performances supérieures sur les tâches de questions-réponses à domaine ouvert et en plusieurs étapes.

Takeaways, Limitations

Takeaways:
Nous présentons un nouveau cadre RAG (CoCoA) qui améliore explicitement la synergie entre les connaissances de recherche internes et externes dans le LLM.
Une approche multi-agents offre le potentiel d’une utilisation des connaissances plus précise et plus efficace.
Il surpasse les méthodes RAG existantes dans les tâches de réponse aux questions à domaine ouvert et en plusieurs étapes.
Présentation d'une stratégie d'apprentissage de modèle efficace à travers le développement étape par étape de CoCoA-zero et CoCoA.
Limitations:
Des recherches supplémentaires sont nécessaires pour évaluer les performances de généralisation du cadre proposé et son applicabilité à diverses tâches.
Manque d'analyse du coût de calcul et du temps de formation de CoCoA.
Seuls les résultats de l’évaluation des performances pour un ensemble de données spécifique sont présentés, la généralisabilité à d’autres ensembles de données doit donc être vérifiée.
👍