FOCUS: Efficient Keyframe Selection for Long Video Understanding
Created by
Haebom
Category
Empty
저자
Zirui Zhu, Hailun Xu, Yang Luo, Yong Liu, Kanchan Sarkar, Zhenheng Yang, Yang You
개요
본 논문은 멀티모달 대규모 언어 모델(MLLM)에서 긴 비디오를 처리하기 위한 효율적인 키프레임 선택 모듈인 FOCUS(Frame-Optimistic Confidence Upper-bound Selection)를 제안합니다. FOCUS는 모델 훈련 없이 작동하며, 시간적 클립을 'arm'으로 간주하고 경험적 평균과 Bernstein 신뢰 반경을 사용하여 정보적 영역을 식별하는 순수 탐색(CPE) 문제로 키프레임 선택을 공식화합니다. 이를 통해 엄격한 토큰 예산 내에서 쿼리와 관련된 프레임을 선택합니다. FOCUS는 두 단계의 탐색-활용 절차를 통해 정확도를 향상시키고, 긴 비디오 질문 답변 벤치마크에서 기존 방법에 비해 상당한 성능 향상을 보였습니다.
