본 논문은 기존 영상 이해 평가 벤치마크의 한계(범위, 과제 다양성, 장면 적응성 부족)를 극복하기 위해 계층적이고 전체적인 영상 이해(H2VU) 벤치마크를 제안합니다. H2VU는 3초부터 1.5시간까지 다양한 길이의 영상을 포함하며, 지각 및 추론 과제뿐만 아니라 상식에 반하는 이해 및 궤적 상태 추적과 같은 새로운 과제를 도입하여 모델의 심층적인 이해 능력을 평가합니다. 또한 1인칭 스트리밍 영상 데이터셋을 확장하여 실제 AI 에이전트의 성능을 평가할 수 있도록 합니다. 기존 다중 모달 대규모 언어 모델(MLLM)의 H2VU 평가 결과는 상당한 개선 여지가 있음을 보여주며, H2VU가 영상 이해 연구 발전에 기여할 것으로 기대됩니다.
시사점, 한계점
•
시사점:
◦
기존 영상 이해 벤치마크의 한계를 극복하는 새로운 벤치마크 H2VU 제시
◦
다양한 길이(3초~1.5시간)의 영상과 다양한 과제(상식에 반하는 이해, 궤적 상태 추적 등) 포함
