본 논문은 기존의 다중 모달 검색 벤치마크가 주로 외부 텍스트 지식을 활용한 질문 응답 능력 평가에 초점을 맞춘 것과 달리, 시각 정보 검색이 텍스트 데이터보다 유용하거나 접근이 용이한 상황을 고려하여 새로운 벤치마크 MRAG-Bench를 제시합니다. MRAG-Bench는 다양한 시각적 관점에서 더 많은 이미지를 제공하는 등 시각적으로 보강된 지식이 텍스트 지식보다 우수한 9가지 시나리오를 체계적으로 식별하고 분류하여 16,130개의 이미지와 1,353개의 사람이 주석을 단 객관식 질문으로 구성됩니다. 이를 통해 10개의 오픈소스 및 4개의 독점적 대규모 비전-언어 모델(LVLMs)을 평가하고, 모든 LVLMs가 텍스트 지식보다 이미지로 보강될 때 더 큰 성능 향상을 보임을 확인하여 MRAG-Bench가 시각 중심적임을 입증합니다. 또한, 최고 성능 모델인 GPT-4o조차 정답 정보를 활용하여 5.82%의 성능 향상만을 보이는 반면, 사람 참가자는 33.16%의 향상을 보여, 검색 기반 LVLMs의 효율적인 시각 지식 활용 능력 향상의 중요성을 강조합니다.
