본 논문은 장시간 비디오에 대한 Transformer 모델 확장을 위해 효과적인 비디오 토큰화의 중요성을 강조합니다. 기존의 공간-시간 패치 기반 토큰화 방식의 과도한 토큰 수와 계산 비효율성 문제를 해결하고자, 팬옵틱 하위 객체 궤적을 기반으로 토큰을 구성하는 접지된 비디오 토큰화(grounded video tokenization)라는 새로운 패러다임을 제시합니다. 이를 통해 비디오 지속 시간이 아닌 장면 복잡도를 반영하는 토큰화를 실현합니다. 제안하는 TrajViT는 객체 궤적을 추출하여 의미있는 토큰으로 변환하는 비디오 인코더로, 중복성을 줄이면서 시간적 일관성을 유지합니다. 대조 학습으로 학습된 TrajViT는 비디오 텍스트 검색, 비디오 질의응답 등 다양한 비디오 이해 벤치마크에서 공간-시간 ViT(ViT3D)를 상당히 능가하며, 특히 비디오 텍스트 검색 작업에서 최대 10배의 토큰 감소와 6%의 상위 5개 재현율 향상을 보였습니다. 또한 최신 VideoLLM의 비디오 인코더로 사용되었을 때, 6개의 비디오 질의응답 벤치마크에서 평균 5.2%의 성능 향상과 4배 빠른 학습 시간, 18배 적은 추론 FLOPs를 달성했습니다. TrajViT는 다양한 비디오 분석 작업에서 ViT3D를 꾸준히 능가하는 최초의 효율적인 인코더로, 강력하고 확장 가능한 솔루션을 제공합니다.
