본 논문은 기존 지식 편집을 텍스트 및 시각적 모달리티를 모두 포함하는 설정으로 확장하는 Multimodal Knowledge Editing (MKE)을 다룹니다. 기존 MKE 벤치마크가 최종 정답의 정확성만을 평가하는 한계를 극복하고자, 본 논문은 중간 추론의 품질과 시각적으로 재구성된 입력에 대한 견고성을 평가하는 새로운 벤치마크 MMQAKE를 제안합니다. MMQAKE는 텍스트와 이미지에 걸쳐 있는 2-5 홉 팩트 체인에 대한 모델의 추론 능력과 다중 홉 질문에서 시각적으로 재구성된 입력에 대한 견고성을 평가합니다. 본 연구에서는 기존 MKE 방법들이 지식 편집 후 멀티모달 추론 체인을 일관되게 업데이트하고 추론하는 데 어려움을 겪는다는 것을 확인하고, 이러한 문제를 해결하기 위해 동적 멀티모달 지식 그래프(DMKG)를 기반으로 하는 하이브리드 추론 프레임워크인 Hybrid-DMKG를 제안합니다. Hybrid-DMKG는 대형 언어 모델을 사용하여 멀티모달 멀티홉 질문을 순차적인 하위 질문으로 분해하고, 멀티모달 검색 모델을 적용하여 업데이트된 사실을 찾습니다. 그리고, 관계 연결 예측과 RAG 추론을 통해 DMKG에서 작동하는 하이브리드 추론 모듈을 사용합니다. MMQAKE 실험 결과, Hybrid-DMKG가 기존 MKE 접근 방식보다 높은 정확도와 향상된 지식 업데이트 견고성을 달성했습니다.
