Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Vers une optimisation adaptative basée sur la mémoire pour une récupération améliorée et une génération augmentée

Created by
  • Haebom

Auteur

Qitao Qin, Yucong Luo, Yihang Lu, Zhibo Chu, Xianwei Meng

Contour

La génération augmentée par récupération (RAG) s'est révélée une méthode prometteuse pour améliorer la précision des réponses et atténuer les erreurs factuelles et les hallucinations en intégrant aux modèles des connaissances non paramétriques issues de bases de connaissances externes. Cependant, les méthodes RAG existantes effectuent des tâches de récupération indépendantes et intègrent directement les informations récupérées dans la génération, sans conserver de mémoire récapitulative ni recourir à une stratégie de récupération adaptative. Ce processus génère du bruit en raison de la redondance des informations et du manque d'intégration des informations dans les tâches d'assurance qualité en domaine ouvert. Dans cet article, nous proposons une optimisation adaptative basée sur la mémoire pour une RAG améliorée (Amber) pour les tâches d'assurance qualité en domaine ouvert afin de résoudre ces problèmes. Amber comprend un système de mise à jour de mémoire basé sur des agents, un collecteur d'informations adaptatif et un filtre de contenu multi-granules, qui fonctionnent ensemble dans un paradigme de mise à jour itérative de la mémoire. Il intègre et optimise la mémoire des modèles de langage grâce à une approche collaborative multi-agents afin de garantir une intégration complète des connaissances issues des étapes de récupération précédentes. Il ajuste dynamiquement la requête de récupération en fonction des connaissances accumulées et détermine le moment où arrêter la récupération, améliorant ainsi l'efficacité et l'efficience de la récupération. Il filtre également le contenu non pertinent à plusieurs niveaux afin de réduire le bruit et de conserver les informations essentielles, améliorant ainsi les performances globales du modèle. Nous avons mené des expériences approfondies sur plusieurs ensembles de données d'assurance qualité en domaine ouvert, et les résultats démontrent la supériorité et l'efficacité de la méthode proposée et de ses composants.

Takeaways, Limitations

Takeaways:
Nous présentons une nouvelle méthode (Amber) qui résout efficacement les problèmes d'informations redondantes et de manque d'intégration d'informations dans la méthode RAG existante dans les tâches d'assurance qualité en domaine ouvert.
Améliorez l'efficacité et la précision de la recherche avec un outil de mise à jour de mémoire basé sur un agent, un collecteur d'informations adaptatif et un filtre de contenu multi-particules.
Permet une intégration complète des connaissances grâce à une approche collaborative multi-agents.
Nous démontrons d’excellentes performances sur divers ensembles de données d’assurance qualité à domaine ouvert.
Limitations:
D’autres études sont nécessaires pour étudier les performances de généralisation de la méthode proposée et son applicabilité à divers domaines.
Une analyse détaillée de la gestion de la mémoire et des interactions entre les agents peut faire défaut.
Les performances peuvent être affectées par les caractéristiques de l’ensemble de données utilisé dans l’expérience.
Une analyse plus approfondie du coût de calcul et de l’utilisation de la mémoire est nécessaire.
👍