본 논문은 시각적 콘텐츠의 신뢰도 예측 및 그 판단 기준을 이해하는 것을 목표로, 다양하고 풍부한 시각적 특징으로 인해 어려움을 겪는 과제를 해결하기 위한 연구를 제시합니다. GPT-4o와 같은 다중 모달 LLM을 활용한 특징 발견 프레임워크를 도입하여 콘텐츠 신뢰도를 평가하고 그 이유를 설명합니다. 목표 지향적인 프롬프트를 사용하여 해석 가능한 특징을 추출 및 정량화하고, 이를 머신러닝 모델에 통합하여 신뢰도 예측을 개선합니다. 과학, 건강, 정치 분야의 8개 주제에 걸친 4,191개의 시각적 소셜 미디어 게시물과 5,355명의 크라우드 소싱 작업자의 신뢰도 평가를 사용하여 이 방법을 테스트했습니다. 본 연구의 방법은 제로샷 GPT 기반 예측보다 R2에서 13% 향상된 성능을 보였으며, 정보의 구체성 및 이미지 형식과 같은 주요 특징을 밝혀냈습니다. 잘못된 정보 완화, 시각적 신뢰도 및 사회 과학에서 LLM의 역할에 대한 시사점을 논의합니다.
