본 논문은 대규모 비전-언어 모델(LVLMs)과 자연어 추론(NLI)을 활용하여 이미지의 현실성을 정량화하는 새로운 방법을 제시합니다. 상식에 위배되는 이미지(예: 아인슈타인이 스마트폰을 들고 있는 사진)를 LVLMs에 입력하면 환각(hallucination)이 발생할 수 있다는 점에 착안하여, LVLMs을 통해 이미지에서 원자적 사실들을 추출합니다. 이때 정확한 사실과 잘못된 환각이 혼합되어 나타나는데, 이들 사실들 간의 쌍방향 함의 점수를 계산하고 이를 집계하여 단일 현실 점수를 산출합니다. 이 과정을 통해 진짜 사실과 환각 요소 간의 모순을 식별하여 상식에 위배되는 이미지를 찾아냅니다. 제안된 방법은 WHOOPS! 데이터셋에서 제로샷 방식으로 최첨단 성능을 달성했습니다.
