본 논문은 대규모 다중모달 모델(LMMs)이 특히 검색 증강 생성(RAG) 프레임워크에서 다중모달 지식 충돌을 만났을 때 직면하는 어려움을 다룹니다. RAG 프레임워크에서는 외부 소스의 상황 정보가 모델의 내부 매개변수 지식과 상충되어 신뢰할 수 없는 출력으로 이어질 수 있습니다. 기존 벤치마크는 이러한 현실적인 충돌 시나리오를 반영하지 못하며, 주로 내부 메모리 충돌에만 집중하고 상황-메모리 및 상황 간 충돌은 거의 조사되지 않았습니다. 또한, 일반적으로 사용되는 사실적 지식 기반 평가가 종종 간과되고, 기존 데이터셋은 충돌 감지 기능에 대한 철저한 조사가 부족합니다. 이러한 간극을 해소하기 위해 본 논문은 상황-메모리 및 상황 간 시나리오 모두에서 사실적 지식 충돌을 평가하도록 설계된 MMKC-Bench라는 벤치마크를 제안합니다. MMKC-Bench는 세 가지 유형의 다중모달 지식 충돌을 포함하며, 자동화된 파이프라인과 사람 검증을 통해 수집된 23가지 광범위한 유형에 걸쳐 1,573개의 지식 인스턴스와 3,381개의 이미지를 포함합니다. 본 논문에서는 모델 동작 분석 및 충돌 감지 작업에 대한 세 가지 대표적인 LMM 시리즈를 평가합니다. 연구 결과, 현재 LMM은 지식 충돌을 인식할 수 있지만 외부 증거보다 내부 매개변수 지식을 선호하는 경향이 있음을 보여줍니다. 본 논문은 MMKC-Bench가 다중모달 지식 충돌에 대한 추가 연구를 촉진하고 다중모달 RAG 시스템의 개발을 향상시키기를 기대합니다. 소스 코드는 https://github.com/MLLMKCBENCH/MLLMKC 에서 이용 가능합니다.
