ViBe: A Text-to-Video Benchmark for Evaluating Hallucination in Large Multimodal Models
Created by
Haebom
Category
Empty
저자
Vipula Rawte, Sarthak Jain, Aarush Sinha, Garv Kaushik, Aman Bansal, Prathiksha Rumale Vishwanath, Samyak Rajesh Jain, Aishwarya Naresh Reganti, Vinija Jain, Aman Chadha, Amit P. Sheth, Amitava Das
개요
본 논문은 오픈소스 Text-to-Video (T2V) 모델들이 생성하는 환각 콘텐츠(hallucinated content)를 다루는 대규모 데이터셋 ViBe를 소개합니다. ViBe는 10개의 T2V 모델을 사용하여 837개의 다양한 MS COCO 캡션으로부터 생성된 3,782개의 비디오로 구성되며, Vanishing Subject, Omission Error, Numeric Variability, Subject Dysmorphia, Visual Incongruity 등 다섯 가지 주요 환각 유형을 식별하고 수동으로 주석을 달았습니다. 본 논문은 환각 비디오 데이터셋과 비디오 임베딩을 사용한 분류 프레임워크를 포함하는 벤치마크를 제시하며, TimeSFormer + CNN 앙상블이 가장 좋은 성능(정확도 0.345, F1 점수 0.342)을 달성했습니다. 이는 자동 환각 탐지의 어려움과 향상된 방법의 필요성을 강조합니다. 연구의 목표는 보다 강력한 T2V 모델의 개발과 사용자 선호도에 기반한 출력 평가입니다.
시사점, 한계점
•
시사점:
◦
오픈소스 T2V 모델의 환각 현상을 체계적으로 분석하고, 이를 위한 대규모 데이터셋 ViBe를 제공합니다.
◦
환각 탐지의 어려움을 보여주는 벤치마크를 제공하고 향후 연구 방향을 제시합니다.
◦
T2V 모델의 신뢰성 평가 및 향상을 위한 중요한 자원을 제공합니다.
◦
사용자 선호도 기반의 T2V 모델 평가 방향을 제시합니다.
•
한계점:
◦
제시된 기준 모델의 정확도가 다소 낮아(정확도 0.345, F1 점수 0.342) 환각 탐지 기술의 개선이 필요합니다.
