본 논문은 맥락에서 벗어난 (Out-of-Context, OOC) 허위 정보 탐지에 초점을 맞추고 있습니다. OOC 허위 정보는 진짜 이미지에 오해를 불러일으키는 텍스트를 짝지어 의미를 왜곡하는 특징이 있습니다. 기존 방법들은 이미지-텍스트 쌍 간의 조잡한 유사도 측정에 의존하여 미묘한 불일치를 포착하거나 의미있는 설명을 제공하는 데 어려움을 겪습니다. 본 논문에서는 다중 모드 대규모 언어 모델(MLLM)의 강점을 활용하여 다중 입자성 맥락 분석과 다중 에이전트 추론 아키텍처를 통합한 EXCLAIM이라는 검색 기반 프레임워크를 제시합니다. EXCLAIM은 다중 모드 이벤트 및 엔티티의 다중 입자성 색인을 통해 외부 지식을 활용하여 다중 모드 뉴스 콘텐츠의 일관성과 무결성을 체계적으로 평가합니다. 실험 결과, EXCLAIM은 최첨단 기법보다 4.3% 높은 정확도로 OOC 허위 정보를 탐지하고 설명 가능하고 실행 가능한 통찰력을 제공합니다.
시사점, 한계점
•
시사점:
◦
다중 모드 대규모 언어 모델과 외부 지식 활용을 통해 기존 방법의 한계를 극복한 OOC 허위 정보 탐지 프레임워크 제시.
