VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding

작성자

Haebom

카테고리

Empty

저자

Kuanwei Lin, Wenhao Zhang, Ge Li

💡 개요

이 논문은 긴 비디오를 효율적으로 이해하기 위한 확장성 병목 현상을 해결하기 위해 VideoRouter라는 쿼리 적응형 듀얼 라우터 프레임워크를 제안합니다. VideoRouter는 시맨틱 라우터와 이미지 라우터를 통해 비디오의 시공간적 증거를 동적으로 할당하여 불필요한 프레임을 압축하고 중요한 프레임의 세부 정보를 보존합니다. 이를 통해 기존 모델보다 훨씬 적은 계산량으로도 우수한 성능을 달성합니다.

🔑 시사점 및 한계

•

긴 비디오 이해에서 계산 효율성을 크게 향상시키는 쿼리 적응형 증거 할당 방법론을 제시했습니다.

•

학습 데이터를 위한 새로운 대규모 데이터셋 (Video-QTR-10K, Video-FLR-200K)을 구축하여 방법론의 효과적인 훈련을 지원했습니다.

•

제안된 VideoRouter는 다양한 벤치마크에서 기존 모델 대비 상당한 토큰 감소와 성능 향상을 보여주었습니다.

•

(한계점 또는 향후 과제) 아직 특정 유형의 비디오 콘텐츠나 복잡한 시각적 패턴에 대한 적응성이 더 요구될 수 있으며, 라우터 자체의 학습 복잡성이나 연산 비용에 대한 추가적인 최적화 가능성이 존재합니다.

PDF 보기

Made with Slashpage