Fostering Video Reasoning via Next-Event Prediction
Created by
Haebom
저자
Haonan Wang, Hongfu Liu, Xiangyan Liu, Chao Du, Kenji Kawaguchi, Ye Wang, Tianyu Pang
개요
본 논문은 비디오 입력에 대한 시간적 추론 능력을 갖춘 거대 언어 모델(MLLM)을 개발하기 위한 새로운 학습 과제로 '다음 이벤트 예측(NEP)'을 제안합니다. 기존의 비디오 질의응답이나 비디오 캡션 생성과 달리, NEP는 미래 비디오 세그먼트를 자기 지도 학습 신호로 활용하여 모델이 과거 프레임을 입력으로 받아 미래 프레임에서 추출된 이벤트 요약을 예측하도록 합니다. 이를 위해 다양한 실제 시나리오를 포함하는 33,000개의 자동 추출 비디오 세그먼트로 구성된 V1-33K 데이터셋을 제작하고, 다양한 비디오 지시어 튜닝 전략을 탐색하여 시간적 추론에 미치는 영향을 연구했습니다. 미지의 미래 이벤트 예측의 일관성을 평가하기 위한 FutureBench를 도입하여 NEP가 MLLM의 시간적 추론을 촉진하는 확장 가능하고 효과적인 훈련 패러다임임을 실험적으로 검증했습니다.
시사점, 한계점
•
시사점:
◦
다음 이벤트 예측(NEP)이라는 새로운 자기 지도 학습 과제를 제시하여 MLLM의 시간적 추론 능력 향상에 기여.
◦
다양한 실제 시나리오를 포함하는 대규모 비디오 데이터셋 V1-33K 공개.
◦
미래 이벤트 예측의 일관성 평가를 위한 새로운 벤치마크 FutureBench 제시.
◦
비디오 지시어 튜닝 전략의 시간적 추론에 대한 영향 연구.
•
한계점:
◦
V1-33K 데이터셋이 자동으로 추출된 비디오 세그먼트로 구성되어 있어, 정확성 및 다양성에 대한 한계 존재 가능성.
◦
FutureBench의 평가 지표가 미래 이벤트 예측의 모든 측면을 포괄하지 못할 가능성.
