본 논문은 다중 모달 대규모 언어 모델(MLLMs)이 텍스트와 비전 간의 이해를 향상시켰지만, 다중 모달 지식 추론 과정에서 모달 간 지식 통합에 어려움을 겪어 추론 결과의 일관성이 떨어지는 문제를 다룬다. 이를 체계적으로 탐구하기 위해 네 가지 평가 과제를 제시하고 새로운 데이터셋을 구축하여 MLLMs 내 다중 모달 지식 추론에서 일관성 저하 정도를 분석하고 비교하는 실험을 수행했다. 실험 결과를 바탕으로 일관성 저하에 기여하는 요인들을 파악하고, 다중 모달 지식 추론의 어려움에 대한 새로운 통찰력과 MLLMs 개선을 위한 가이드라인을 제공한다.
