Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Retrieval-Augmented Generation with Conflicting Evidence

Created by
  • Haebom

저자

Han Wang, Archiki Prasad, Elias Stengel-Eskin, Mohit Bansal

개요

본 논문은 대규모 언어 모델(LLM) 에이전트의 사실성 향상을 위해 검색 증강 생성(RAG)을 활용하는 과정에서 발생하는 모호한 사용자 질의, 상반되는 정보, 부정확한 정보 등의 문제를 동시에 다루는 새로운 방법을 제시합니다. 기존 연구들이 각 문제를 개별적으로 해결한 것과 달리, 본 논문은 모호성, 잘못된 정보, 노이즈를 포함하는 현실적인 시나리오를 모방한 새로운 데이터셋 RAMDocs를 제안하고, LLM 에이전트 간의 다중 라운드 토론을 통해 모호성을 해소하고 잘못된 정보와 노이즈를 제거하는 다중 에이전트 접근 방식 MADAM-RAG를 제시합니다. 실험 결과, MADAM-RAG는 AmbigDocs 및 FaithEval 데이터셋에서 기존 RAG 기준 모델보다 성능을 상당히 향상시켰지만, 특히 증거와 잘못된 정보의 불균형이 심할 경우 개선의 여지가 있음을 보여줍니다.

시사점, 한계점

시사점:
모호성, 잘못된 정보, 노이즈를 동시에 고려하는 현실적인 RAG 시스템 평가를 위한 새로운 데이터셋 RAMDocs 제시.
다중 에이전트 토론을 통해 상반되는 정보를 처리하고 사실성을 높이는 MADAM-RAG 기법 제안.
AmbigDocs 및 FaithEval 데이터셋에서 기존 RAG 기준 모델 대비 성능 향상을 실험적으로 입증.
한계점:
RAMDocs 데이터셋에서 증거와 잘못된 정보의 불균형이 심할 경우 MADAM-RAG의 성능 향상이 제한적임.
MADAM-RAG의 성능 향상에는 여전히 개선의 여지가 존재.
👍