본 논문은 Retrieval-Augmented Generation (RAG) 시스템에서 중요한 구성 요소인 문서 청크화(document chunking)에 대한 효과적인 평가 도구의 부재 문제를 다룹니다. 기존 RAG 평가 벤치마크의 한계점, 특히 증거 데이터의 부족 문제를 분석하고, 이를 해결하기 위해 수동으로 주석이 달린 다단계 문서 청크화 지점, 합성된 증거가 풍부한 질의응답(QA) 쌍 및 해당 증거 출처를 포함하는 HiCBench를 제안합니다. 또한, 미세 조정된 LLMs 기반의 다단계 문서 구조화 프레임워크인 HiChunk와 검색 품질을 향상시키는 Auto-Merge 검색 알고리즘을 함께 제시합니다. 실험 결과, HiCBench는 전체 RAG 파이프라인에서 다양한 청크화 방법의 영향을 효과적으로 평가하며, HiChunk는 적절한 시간 소모 내에서 더 나은 청크화 품질을 달성하여 RAG 시스템의 전반적인 성능을 향상시킴을 보여줍니다.
