본 논문은 고해상도 비디오 이해를 위한 효율적인 방법으로 Dense Video Understanding (DVU)를 제시합니다. 기존의 비디오 거대 언어 모델(VLLM)들은 저프레임레이트 샘플링으로 인해 밀집된 시간 정보를 활용하지 못하는 한계를 가지고 있습니다. DVU는 Gated Residual Tokenization (GRT)이라는 두 단계 프레임워크를 통해 토큰화 시간과 토큰 오버헤드를 줄여 고프레임레이트 비디오 이해를 가능하게 합니다. GRT는 움직임 보상 간-게이트 토큰화(Motion-Compensated Inter-Gated Tokenization)와 의미론적 장면 내-토큰화 병합(Semantic-Scene Intra-Tokenization Merging)으로 구성되어 있으며, 정적 영역을 건너뛰고 토큰을 효율적으로 통합하여 서브-리니어 토큰 수 증가 및 계산량을 달성합니다. 또한, 밀집된 시간적 추론을 위한 새로운 벤치마크인 DIVE (Dense Information Video Evaluation)를 제안합니다. 실험 결과, GRT는 더 큰 VLLM 기준 모델들을 능가하며 FPS와 함께 성능이 향상됨을 보여줍니다.
