본 논문은 시각적으로 풍부한 문서에서 정보를 이해하는 데 어려움을 겪는 기존 RAG(Retrieval-Augmented Generation) 방법의 한계를 지적하며, 복잡한 추론을 요구하는 시각적으로 풍부한 문서에 대한 RAG 성능을 평가하기 위해 새로운 데이터셋 ViDoSeek을 제시합니다. 기존 RAG 접근 방식의 주요 한계점으로 시각적 검색 방법이 텍스트와 시각적 특징을 효과적으로 통합하지 못하고, 추론 토큰 할당이 부족하여 효율성이 떨어지는 점을 지적합니다. 이러한 문제를 해결하기 위해, 본 논문은 다중 모달 검색을 효과적으로 처리하는 GMM(Gaussian Mixture Model) 기반 하이브리드 전략을 사용하는 새로운 다중 에이전트 RAG 프레임워크인 ViDoRAG를 제안합니다. 탐색, 요약, 반성을 통합하는 반복적 에이전트 워크플로우를 도입하여 RAG 영역에서의 테스트 시간 확장성을 조사하는 프레임워크를 제공하며, ViDoSeek에 대한 광범위한 실험을 통해 ViDoRAG의 효과성과 일반화 성능을 검증합니다. ViDoRAG는 ViDoSeek 벤치마크에서 기존 방법보다 10% 이상 성능이 향상됨을 보여줍니다. 코드는 Github에서 공개됩니다.
