Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

MESH -- Understanding Videos Like Human: Measuring Hallucinations in Large Video Models

Created by
  • Haebom

저자

Garry Yang, Zizhe Chen, Man Hon Wong, Haoyu Lei, Yongqiang Chen, Zhenguo Li, Kaiwen Zhou, James Cheng

개요

본 논문은 대규모 비디오 모델(LVMs)의 환각(hallucination) 문제를 체계적으로 평가하기 위한 새로운 벤치마크 MESH를 제안합니다. 기존 벤치마크의 한계를 극복하고자, 질의응답(Question-Answering) 방식을 사용하여 기본 객체, 세부 특징, 주체-행위 쌍 등을 다층적으로 평가합니다. 이는 사람이 비디오를 이해하는 과정을 모방하여, LVMs의 환각 발생 원인을 보다 정확하게 파악하는 것을 목표로 합니다. 실험 결과, LVMs는 기본 객체나 특징 인식에는 능숙하지만, 세부적인 정보나 다양한 주체의 복합 행위를 다루는 장면에서는 환각 발생률이 크게 증가함을 보여줍니다.

시사점, 한계점

시사점:
기존의 수동 분류 방식에 의존하는 비디오 환각 평가 방식의 한계를 극복하고, 인간의 지각 과정을 반영한 새로운 평가 기준을 제시.
LVM의 환각 문제를 다각적으로 분석하고, 그 원인을 보다 정확하게 파악할 수 있는 벤치마크 MESH 개발.
LVM의 강점과 약점을 명확히 제시하여 향후 모델 개발 방향 제시.
한계점:
MESH 벤치마크의 일반화 성능에 대한 추가적인 검증 필요.
다양한 종류의 LVM에 대한 평가 결과 제시가 부족.
실제 비디오 데이터의 복잡성을 완벽하게 반영하지 못할 가능성 존재.
👍