Sign In

Towards Global Retrieval Augmented Generation: A Benchmark for Corpus-Level Reasoning

Created by
  • Haebom
Category
Empty

저자

Qi Luo, Xiaonan Li, Tingshuo Fan, Xinchi Chen, Xipeng Qiu

개요

본 논문은 대규모 언어 모델(LLM)의 환각 현상을 줄이기 위한 Retrieval-augmented generation (RAG)의 한계를 지적하고, 보다 광범위한 문서 집합에 대한 이해를 요구하는 'global RAG'를 평가하기 위한 새로운 벤치마크인 GlobalQA를 소개합니다. GlobalQA는 counting, extremum queries, sorting, top-k extraction의 네 가지 핵심 task 유형을 포함합니다. 기존 RAG 방법론이 GlobalQA에서 낮은 성능을 보임을 확인하고, 이러한 문제를 해결하기 위해 chunk-level retrieval, LLM 기반 필터, 집계 모듈을 통합한 GlobalRAG 프레임워크를 제안하여 성능 향상을 입증합니다.

시사점, 한계점

시사점:
GlobalQA 벤치마크를 통해 global RAG 능력을 평가할 수 있는 새로운 기준 제시.
기존 RAG 방법론의 한계를 드러내고, 새로운 접근 방식의 필요성을 강조.
GlobalRAG 프레임워크를 통해 global RAG task의 성능 향상 가능성을 보여줌.
한계점:
GlobalQA의 task 유형이 특정 task에 국한될 수 있음.
제안된 GlobalRAG 프레임워크가 다른 LLM 및 데이터셋에 대해 일반화 가능성이 추가적으로 검증되어야 함.
GlobalRAG의 각 구성 요소(chunk-level retrieval, LLM-driven filters, aggregation modules)의 영향에 대한 더 자세한 분석이 필요함.
👍