Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FrameMind: Frame-Interleaved Video Reasoning via Reinforcement Learning

Created by
  • Haebom

저자

Haonan Ge, Yiwei Wang, Kai-Wei Chang, Hang Wu, Yujun Cai

FrameMind: Dynamic Video Understanding with Frame-Interleaved Reasoning

개요

본 논문은 고정된 프레임 샘플링 전략에 의존하는 기존 비디오 이해 모델의 한계를 극복하기 위해, 강화 학습을 활용하여 동적으로 시각 정보를 요청하는 프레임워크인 FrameMind를 소개합니다. FrameMind는 Frame-Interleaved Chain-of-Thought (FiCOT)를 통해 텍스트 추론과 능동적인 시각 인식을 번갈아 수행하며, Dynamic Resolution Frame Sampling (DRFS) 및 DRFS-GRPO 알고리즘을 사용하여 훈련됩니다. 이 방법은 MLVU 및 VideoMME와 같은 벤치마크에서 기존 모델보다 우수한 성능을 보입니다.

시사점, 한계점

시사점:
동적 시각 정보 요청을 통해 비디오 이해 모델의 유연성과 효율성을 향상시킴.
FiCOT 방식을 통해 텍스트 추론과 시각 인식의 상호작용을 개선.
DRFS 및 DRFS-GRPO를 사용하여 효과적인 동적 샘플링 정책을 훈련.
MLVU 및 VideoMME 벤치마크에서 SOTA 달성.
한계점:
DRFS 및 DRFS-GRPO의 복잡성 및 계산 비용.
FiCOT 및 동적 샘플링의 일반화 가능성.
다른 유형의 비디오 이해 task에 대한 성능 평가 필요.
👍