PRISM: Agentic Retrieval with LLMs for Multi-Hop Question Answering
작성자
- Haebom
카테고리
Empty
저자
Md Mahadi Hasan Nahid, Davood Rafiei
개요
본 논문은 복잡한 질문에 답하기 위해 여러 증거를 수집해야 하는 multi-hop 질문 응답(QA)에서 검색의 역할을 강조하며, 높은 정밀도와 재현율로 관련 증거를 검색하기 위해 대규모 언어 모델(LLM)을 활용하는 Agentic Retrieval System을 소개한다. 이 시스템은 질문 분석기, 선택기, 추가기로 구성된 세 가지 전문 에이전트를 사용하며, 선택기와 추가기 간의 반복적인 상호 작용을 통해 간결하면서도 포괄적인 지원 구절 집합을 생성한다. 특히, 주의를 산만하게 하는 콘텐츠를 필터링하면서 높은 검색 정확도를 달성하여 다운스트림 QA 모델이 관련 없는 정보에 덜 의존하면서도 전체 컨텍스트 답변 정확도를 능가하도록 한다. HotpotQA, 2WikiMultiHopQA, MuSiQue, MultiHopRAG 등 네 개의 multi-hop QA 벤치마크에서 강력한 기준선보다 일관되게 우수한 성능을 보인다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 구조화된 루프를 통해 높은 정밀도와 재현율의 증거 검색 가능.
◦
질문 분석, 선택, 추가 에이전트의 전문화를 통해 효율적인 정보 검색.
◦
주의를 산만하게 하는 콘텐츠 필터링으로 다운스트림 QA 모델의 성능 향상.
◦
다양한 multi-hop QA 벤치마크에서 우수한 성능 입증.
•
한계점:
◦
구체적인 한계점은 논문 요약에서 명시되지 않음. (논문 내용을 직접 확인해야 함)
