본 논문은 극단적인 토큰 감소(extreme short token reduction)라는 새로운 과제를 제시하며, 비디오 시퀀스를 최소한의 토큰으로 표현하는 방법을 제안합니다. 기존의 토큰 감소 기법들이 계산 효율과 토큰 수 감소 사이의 균형을 맞추지 못하는 한계를 극복하기 위해, Token Dynamics라는 새로운 비디오 표현 프레임워크를 제안합니다. Token Dynamics는 시각적 임베딩과 그리드 수준의 움직임 정보를 분리하여, 객체 수준의 콘텐츠를 기술하는 토큰들을 클러스터링하여 간결한 토큰 기반을 생성하고, 그리드 간의 상세한 시공간적 움직임 패턴을 포착하는 토큰 다이내믹스 맵을 생성합니다. 또한, 토큰 길이를 늘리지 않고 움직임 특징을 토큰 기반에 통합하는 cross-dynamics attention 메커니즘을 도입하여, 압축성과 시공간적 무결성을 유지합니다. 실험 결과, 원래 토큰의 0.07% 수준으로 토큰 수를 감소시키면서도 성능 저하는 1.13%에 불과함을 보였습니다. 더불어 고정 길이 및 적응형 길이 압축이라는 두 가지 새로운 하위 과제를 제안하여, 비디오-언어 과제를 위한 긴 토큰 시퀀스를 효과적으로 표현합니다. 이 방법은 이론적 복잡성을 크게 낮추고, 토큰 수를 줄이며, 처리량을 향상시켜 비디오 LLM에 효율적인 솔루션을 제공합니다.
