Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

VidComposition: Can MLLMs Analyze Compositions in Compiled Videos?

Created by
  • Haebom

저자

Yolo Yunlong Tang, Junjia Guo, Hang Hua, Susan Liang, Mingqian Feng, Xinyang Li, Rui Mao, Chao Huang, Jing Bi, Zeliang Zhang, Pooyan Fazli, Chenliang Xu

VidComposition: Evaluating Video Composition Understanding of Multimodal Large Language Models

개요

본 논문은 MLLMs(Multimodal Large Language Models)의 비디오 구성 이해 능력을 평가하기 위해 설계된 새로운 벤치마크인 VidComposition을 소개합니다. VidComposition은 982개의 비디오와 1706개의 객관식 질문을 포함하며, 카메라 움직임, 각도, 샷 크기, 내러티브 구조, 캐릭터 행동 및 감정 등 다양한 구성적 측면을 다룹니다. 33개의 오픈 소스 및 상용 MLLM에 대한 광범위한 평가를 수행하여, 모델과 인간 능력 간의 상당한 성능 격차를 발견했습니다.

시사점, 한계점

시사점:
MLLMs의 복잡한 비디오 구성 이해 능력에 대한 새로운 평가 기준 제시.
현재 MLLMs이 복잡한 비디오 구성 이해에 한계가 있음을 보여줌.
향후 MLLMs 개선을 위한 구체적인 방향 제시.
비디오 구성 이해 능력 향상을 위한 연구 분야의 발전 촉진.
한계점:
제한된 비디오 데이터셋과 질문 수.
모델 성능 평가의 단일 지표(객관식 문제) 사용.
특정 컴파일된 비디오에 대한 일반화 가능성.
벤치마크가 특정 유형의 비디오 구성에 편향되어 있을 수 있음.
👍