Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Think With Videos For Agentic Long-Video Understanding

Created by
  • Haebom

저자

Huaying Yuan, Zheng Liu, Junjie Zhou, Hongjin Qian, Yan Shu, Nicu Sebe, Ji-Rong Wen, Zhicheng Dou

개요

본 논문은 컴퓨터 비전 분야의 어려운 문제인 장편 비디오 이해(Long-video understanding, LVU)를 해결하기 위해 제안된 VideoExplorer 프레임워크에 대해 설명한다. VideoExplorer는 '비디오로 생각하기' 원칙에 기반하여 계획, 시간적 기반, 확장 가능한 인식을 자연스럽게 융합하여 일관된 추론 과정을 수행한다. 정적 컨텍스트에 대한 추론 대신, VideoExplorer는 하위 질문을 반복적으로 공식화하고, 관련 순간을 찾아내며, 최종 답에 도달할 때까지 작업 지향적이고 시간적으로 확장 가능한 비디오 이해를 수행하여 충실하고 효율적이며 해석 가능한 추론을 가능하게 한다. 또한 LVU 훈련 리소스 부족 문제를 해결하기 위해 난이도 적응형 샘플링을 사용하여 장편 비디오 추론 데이터 세트를 구축했다. 이 데이터 세트를 기반으로 감독된 궤적 초기화와 궤적 수준 선호도 최적화의 두 단계 훈련 파이프라인을 설계하여 다운스트림 보상에 의해 안내되는 적응형 시간적 기반 및 반복적인 정보 통합을 장려한다.

시사점, 한계점

시사점:
'비디오로 생각하기' 원칙에 기반한 새로운 프레임워크, VideoExplorer 제안.
계획, 시간적 기반, 확장 가능한 인식을 통합하여 일관된 추론 가능.
장편 비디오 추론을 위한 새로운 데이터 세트 구축.
두 단계 훈련 파이프라인을 통해 적응형 시간적 기반 및 정보 통합 달성.
기존 baseline 대비 우수한 성능 입증.
강력한 견고성, 적응성 및 효율성 입증.
코드 공개.
한계점:
논문에 명시된 한계점은 없음.
👍