Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Retrieval-Augmented Generation with Conflicting Evidence

Created by
  • Haebom

作者

Han Wang、Archiki Prasad、Elias Stengel-Eskin、Mohit Bansal

概要

本論文では、大規模言語モデル(LLM)エージェントのリアル性向上のために検索拡張生成(RAG)を利用する過程で発生するあいまいなユーザークエリ、相反する情報、不正確な情報などの問題を同時に扱う新しい方法を紹介します。既存の研究が各問題を個別に解決したのとは異なり、本論文は、あいまいさ、誤った情報、ノイズを含む現実的なシナリオを模倣した新しいデータセットRAMDocsを提案し、LLMエージェント間のマルチラウンドディスカッションを通じて曖昧さを解消し、誤った情報とノイズを排除するマルチエージェントアプローチMADAM-RAGを提示します。実験の結果、MADAM-RAGは、AmbigDocsおよびFaithEvalデータセットの既存のRAG基準モデルよりもパフォーマンスを大幅に向上させましたが、特に証拠と誤った情報の不均衡がひどい場合に改善の余地があることを示しました。

Takeaways、Limitations

Takeaways:
あいまいさ、誤った情報、ノイズを同時に考慮する現実的なRAGシステム評価のための新しいデータセットRAMDocsの提示。
マルチエージェントディスカッションを通じて相反する情報を処理し、現実性を高めるMADAM-RAG技術の提案
AmbigDocsおよびFaithEvalデータセットで、既存のRAG基準モデルと比較してパフォーマンスの向上を実験的に実証しました。
Limitations:
RAMDocsデータセットの証拠と誤った情報の不均衡がひどい場合、MADAM-RAGのパフォーマンスの向上は限られています。
MADAM-RAGの性能向上には依然改善の余地が存在。
👍