Enhancing Long Video Question Answering with Scene-Localized Frame Grouping
Created by
Haebom
저자
Xuyi Yang, Wenhao Zhang, Hongbo Jin, Lin Liu, Hongbo Xu, Yongwei Nie, Fei Yu, Fei Ma
개요
본 논문은 장시간 비디오 이해에서의 다중 모달 대규모 언어 모델(MLLM)의 성능 저하 문제를 해결하기 위해 새로운 시나리오 SceneQA와 그에 따른 데이터셋 LVSQA를 제안합니다. 기존의 프레임 선택 기반 접근 방식과 달리, SceneQA는 장면 기반의 세부 인지 및 추론 능력을 평가합니다. 장면의 의미적 일관성을 유지하며 프레임을 통합하는 새로운 방법인 SLFG를 제시하여 MLLM의 장시간 비디오 이해 능력을 향상시킵니다. SLFG는 기존 모델 구조 수정 없이 적용 가능하며, 다양한 벤치마크 테스트에서 우수한 성능을 보입니다. 코드와 데이터셋은 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
장시간 비디오 이해에서 MLLM의 성능 향상에 기여하는 새로운 방법론(SLFG) 제시.
◦
장면 기반 이해 능력 평가를 위한 새로운 과제(SceneQA)와 데이터셋(LVSQA) 제시.
◦
기존 모델 구조 변경 없이 적용 가능한 plug-and-play 방식 채택.
◦
여러 벤치마크 테스트에서 우수한 성능 검증.
•
한계점:
◦
제시된 방법론의 일반화 성능에 대한 추가적인 연구 필요.
◦
다양한 종류의 장시간 비디오에 대한 로버스트니스 검증 필요.
◦
SceneQA task 및 LVSQA dataset의 범용성 및 확장성에 대한 추가 연구 필요.
