Sign In

FAIR-RAG: Faithful Adaptive Iterative Refinement for Retrieval-Augmented Generation

Created by
  • Haebom
Category
Empty

저자

Mohammad Aghajani Asl, Majid Asgari-Bidhendi, Behrooz Minaei-Bidgoli

FAIR-RAG: 증거 기반 추론을 위한 새로운 에이전트 기반 RAG 프레임워크

개요

FAIR-RAG는 복잡한 멀티홉 쿼리에 대한 대규모 언어 모델(LLM)의 환각 및 지식 부실 문제를 해결하기 위해 설계된 에이전트 기반 RAG(Retrieval-Augmented Generation) 프레임워크입니다. 이 프레임워크는 반복적인 개선 사이클을 통해 작동하며, 구조화된 증거 평가(SEA) 모듈을 사용하여 필요한 정보의 목록을 생성하고 증거를 분석하여 정보 격차를 식별합니다. 식별된 격차는 적응형 쿼리 개선 에이전트에 의해 새로운 하위 쿼리를 생성하여 메워지며, 이는 최종 생성에 대한 포괄적인 컨텍스트를 보장합니다. HotpotQA, 2WikiMultiHopQA, MusiQue와 같은 복잡한 멀티홉 QA 벤치마크에서 기존 RAG 방법론보다 우수한 성능을 보였습니다.

시사점, 한계점

•
시사점:
◦
구조화된 증거 기반 개선 프로세스와 명시적인 격차 분석은 복잡한 지식 집약적 작업에서 고급 RAG 시스템의 신뢰할 수 있고 정확한 추론을 가능하게 합니다.
◦
FAIR-RAG는 HotpotQA에서 F1-score 0.453을 달성하여 기존 방법론 대비 8.3점 향상된 성능을 보여주며, 해당 벤치마크에서 새로운 SOTA를 달성했습니다.
◦
제안된 SEA 모듈은 정보 격차를 정확하게 식별하고, 적응형 쿼리 개선을 위한 효과적인 신호를 제공합니다.
•
한계점:
◦
구체적인 한계점에 대한 언급은 논문 요약에 포함되어 있지 않음. (논문 원문을 참고해야 함)
👍
Made with Slashpage