Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Génération augmentée par récupération avec des preuves contradictoires

Created by
  • Haebom

Auteur

Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

Contour

Cet article présente une nouvelle approche qui traite simultanément les requêtes utilisateur ambiguës, les informations contradictoires et les informations inexactes qui surviennent lors de l'utilisation de la génération augmentée de récupération (RAG) pour améliorer le réalisme des agents du modèle linguistique à grande échelle (LLM). Contrairement aux études précédentes qui abordaient chaque problème individuellement, cet article propose un nouvel ensemble de données, RAMDocs, qui reproduit des scénarios réalistes contenant ambiguïté, désinformation et bruit. Nous présentons ensuite MADAM-RAG, une approche multi-agents qui résout l'ambiguïté et supprime la désinformation et le bruit grâce à des discussions à plusieurs tours entre les agents LLM. Les résultats expérimentaux démontrent que MADAM-RAG surpasse significativement les modèles de base RAG existants sur les ensembles de données AmbigDocs et FaithEval, mais démontrent qu'il existe encore une marge d'amélioration, en particulier lorsque le déséquilibre entre preuves et désinformation est important.

Takeaways, Limitations

Takeaways:
Nous présentons RAMDocs, un nouvel ensemble de données permettant d'évaluer des systèmes RAG réalistes qui prennent en compte simultanément l'ambiguïté, la désinformation et le bruit.
Nous proposons la technique MADAM-RAG pour gérer les informations contradictoires et augmenter le réalisme grâce à la discussion multi-agents.
Démonstration expérimentale des améliorations de performances par rapport aux modèles de base RAG existants sur les ensembles de données AmbigDocs et FaithEval.
Limitations:
Les gains de performance de MADAM-RAG sont limités lorsque l’ensemble de données RAMDocs présente un déséquilibre élevé entre les preuves et la désinformation.
Il y a encore place à l’amélioration dans les performances de MADAM-RAG.
👍