VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding

작성자

Haebom

카테고리

Empty

저자

Kuanwei Lin, Wenhao Zhang, Ge Li

💡 개요

본 논문은 긴 비디오를 처리할 때 발생하는 연산량 증가 문제를 해결하기 위해 쿼리 적응형 듀얼 라우팅 프레임워크인 VideoRouter를 제안합니다. VideoRouter는 시맨틱 라우터와 이미지 라우터를 통해 비디오의 시각적 증거가 시간적으로 고르지 않게 분포하는 상황에서도 효율적으로 정보를 선별하여 압축합니다. 이를 통해 메모리와 지연 시간을 줄이면서도 성능을 유지 또는 향상시킬 수 있습니다.

🔑 시사점 및 한계

•

긴 비디오 이해를 위한 효율적인 비주얼 토큰 압축 기법을 제안합니다.

•

쿼리 적응형 듀얼 라우팅을 통해 시각적 정보의 중요도에 따라 동적으로 프레임을 선택하고 처리하여 연산 효율성을 극대화합니다.

•

제안된 방법론은 다양한 벤치마크 데이터셋에서 기존 모델 대비 상당한 토큰 감소율을 달성하며, 효율성과 성능을 모두 개선합니다.

•

(한계점 또는 향후 과제) 학습 데이터셋 구축에 많은 자원이 소요되었으며, 특정 도메인의 비디오에 대한 일반화 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage