본 논문은 GraphRAG(Graph Retrieval Augmented Generation) 모델의 성능 평가를 위한 대규모 도메인 특화 벤치마크인 GraphRAG-Bench를 제시합니다. 기존의 질의응답 데이터셋 기반 평가의 한계를 극복하고자, 다단계 추론을 요구하는 대학 수준의 도메인 특화 질문, 다양한 유형의 추론 과제(객관식, 참/거짓, 다중 선택, 주관식, 빈칸 채우기 등), 그리고 GraphRAG 파이프라인 전반에 대한 포괄적인 평가(그래프 구축, 지식 검색, 답변 생성 및 추론 과정의 논리적 일관성)를 포함하는 벤치마크를 구축했습니다. 16개 학문 분야 20개 핵심 교재를 기반으로 구성되었으며, 9가지 최신 GraphRAG 방법론을 적용하여 그래프 기반 구조화가 모델의 추론 능력 향상에 미치는 영향을 정량적으로 분석하고, 그래프 아키텍처, 검색 효율, 추론 능력에 대한 통찰력을 제공합니다.
