본 논문은 비전-언어 모델(VLMs)이 이미지와 텍스트 정보 간의 상충되는 상황에 직면했을 때 어떻게 추론하는지, 그리고 그러한 추론에 내재된 편향성을 분석합니다. 수학, 과학, 시각적 설명 등을 다루는 다섯 개의 불일치 이미지-텍스트 쌍 데이터셋을 구축하여, VLMs의 추론 과정에서 텍스트 또는 이미지 정보에 대한 편향성을 분석합니다. 분석 결과, 간단한 질의에서는 텍스트에 대한 편향성이 크지만, 질의의 복잡성이 증가함에 따라 이미지에 대한 편향성이 증가하는 것을 확인했습니다. 이러한 편향성은 모델의 크기와도 상관관계를 보이며, 이미지 선호도와 텍스트 선호도의 차이는 작업과 모델에 따라 +56.8%에서 -74.4%까지 다양했습니다. 또한, 프롬프트 수정, 상충 정보 처리 지침 명시, 모달리티 분리 분석 후 결합 등 세 가지 편향 완화 전략을 탐구하였으며, 그 효과는 모델의 성능과 특정 모달리티와 밀접한 관련이 있음을 밝혔습니다.
