본 논문은 극단적인 토큰 감소(extreme short token reduction)라는 새로운 과제를 제시하고, 비디오 시퀀스를 최소한의 토큰으로 표현하기 위한 새로운 비디오 표현 프레임워크인 토큰 다이내믹스(Token Dynamics)를 제안합니다. 기존의 토큰 감소 기법들이 계산 효율과 토큰 수 감소 사이의 균형을 제대로 맞추지 못하는 문제를 해결하기 위해, 시각적 임베딩과 그리드 수준의 모션 정보를 분리하여 1) 간결한 토큰 해시 테이블, 2) 토큰 인덱스 키 맵, 3) 토큰 해시 함수로 구성된 새로운 표현 방식을 제시합니다. 또한, 토큰 길이를 늘리지 않고 모션 특징을 토큰 기반에 통합하는 크로스-다이내믹스 어텐션 메커니즘을 도입하여 공간-시간적 무결성을 유지합니다. 실험 결과, 기존 토큰의 0.07% 수준으로 토큰 수를 감소시키면서 성능 저하를 1.13%로 최소화하는 것을 보여줍니다. 더불어, 고정 길이 및 적응형 길이 압축이라는 두 가지 새로운 하위 과제를 제안합니다. 제안된 방법은 이론적 복잡도와 토큰 수를 크게 줄이고 처리량을 향상시켜 비디오 LLM에 효율적인 솔루션을 제공합니다.
