본 논문은 시각적으로 풍부한 정보에 대한 효과적인 검색, 추론 및 이해가 RAG(Retrieval Augmented Generation) 방법의 과제임을 지적합니다. 기존의 텍스트 기반 방법은 시각 정보를 처리할 수 없고, 기존의 시각 기반 RAG 접근 방식은 고정된 파이프라인에 제한되며 모델의 기본 기능 활성화 부족으로 인해 효과적인 추론에 어려움을 겪습니다. 따라서 본 논문에서는 시각적으로 풍부한 정보에 대한 복잡한 추론을 위해 설계된 새로운 RL(Reinforcement Learning) 프레임워크인 VRAG-RL을 제시합니다. VRAG-RL은 VLMs(Vision-Language Models)가 검색 엔진과 상호 작용하여 시각적 인식 토큰을 활용하여 단일 턴 또는 다중 턴 추론 경로를 자율적으로 샘플링하고, 이러한 샘플을 기반으로 지속적인 최적화를 수행합니다. 특히, 기존 다중 모달 RAG 접근 방식의 제한점인 불충분한 추론 토큰 할당과 시각 특유의 인식 무시, 그리고 검색 엔진과의 상호 작용 시 요구 사항을 명확히 표현하지 못해 관련 정보 검색 실패 문제를 해결하기 위해, 크롭 및 스케일링 등의 동작을 포함하는 시각적으로 풍부한 입력을 위한 동작 공간을 정의하고, 쿼리 재작성 및 검색 성능을 통합하는 보상 메커니즘을 사용합니다. 결론적으로 VRAG-RL은 특별히 설계된 RL 전략을 사용하여 RAG 작업을 위한 VLMs를 최적화하여 실제 응용 프로그램에 맞춥니다. 코드는 https://github.com/Alibaba-NLP/VRAG 에서 이용 가능합니다.
