ViDoRAG: Visual Document Retrieval-Augmented Generation via Dynamic Iterative Reasoning Agents
Created by
- Haebom
Category
Empty
저자
Qiuchen Wang, Ruixue Ding, Zehui Chen, Weiqi Wu, Shihang Wang, Pengjun Xie, Feng Zhao
개요
본 논문은 시각적으로 풍부한 문서에서 정보를 이해하는 것이 기존 RAG(Retrieval-Augmented Generation) 방법론의 중요한 과제임을 지적합니다. 기존 벤치마크는 주로 이미지 기반 질의응답(QA)에 초점을 맞추어 밀집 시각 문서 내 효율적인 검색, 이해 및 추론이라는 근본적인 문제점을 간과합니다. 이러한 간극을 해소하기 위해 복잡한 추론을 필요로 하는 시각적으로 풍부한 문서에 대한 RAG 성능을 평가하기 위한 새로운 데이터셋인 ViDoSeek을 제시합니다. ViDoSeek 기반으로 현재 RAG 접근 방식의 주요 한계점, 즉 (i) 순전히 시각적인 검색 방법은 텍스트 및 시각적 특징을 효과적으로 통합하는 데 어려움을 겪고, (ii) 기존 접근 방식은 종종 추론 토큰을 부족하게 할당하여 효율성을 제한한다는 점을 밝힙니다. 이러한 과제를 해결하기 위해 본 논문은 시각적 문서 전반에 걸친 복잡한 추론에 맞춰 설계된 새로운 다중 에이전트 RAG 프레임워크인 ViDoRAG를 제안합니다. ViDoRAG는 가우시안 혼합 모델(GMM) 기반 하이브리드 전략을 사용하여 다중 모드 검색을 효과적으로 처리합니다. 모델의 추론 능력을 더욱 향상시키기 위해 탐색, 요약 및 반성을 통합하는 반복적 에이전트 워크플로우를 도입하여 RAG 영역에서 테스트 시간 확장성을 조사하기 위한 프레임워크를 제공합니다. ViDoSeek에 대한 광범위한 실험을 통해 제안된 접근 방식의 효과와 일반화 성능을 검증합니다. 특히, ViDoRAG는 경쟁적인 ViDoSeek 벤치마크에서 기존 방법보다 10% 이상의 성능 향상을 보였습니다.
시사점, 한계점
•
시사점:
◦
시각적으로 풍부한 문서에 대한 RAG 성능 평가를 위한 새로운 벤치마크인 ViDoSeek 제시
◦
다중 모드 정보 통합 및 복잡한 추론을 위한 효과적인 RAG 프레임워크인 ViDoRAG 제안
◦
GMM 기반 하이브리드 검색 전략 및 반복적 에이전트 워크플로우를 통해 RAG 성능 향상
◦
ViDoSeek 벤치마크에서 기존 방법 대비 10% 이상의 성능 향상 달성
◦
RAG 분야에서 테스트 시간 확장성에 대한 새로운 연구 방향 제시
•
한계점:
◦
ViDoSeek 데이터셋의 규모 및 다양성에 대한 추가적인 검토 필요
◦
ViDoRAG의 복잡성으로 인한 계산 비용 증가 가능성
◦
특정 유형의 시각 문서에 대한 일반화 성능 평가 필요
◦
다른 RAG 모델과의 비교 분석 필요
