본 논문은 Transformer 아키텍처에서 토큰 감소(token reduction)의 중요성을 재평가하고, 단순한 효율성 향상 전략을 넘어 생성 모델의 기본 원리로 자리매김해야 함을 주장한다. 기존에는 계산 복잡도를 줄이기 위한 수단으로 사용되었던 토큰 감소가, 대규모 생성 모델 시대에는 다양한 이점을 제공한다는 것이다. 구체적으로, 시각, 언어, 다중 모달 시스템에서 토큰 감소는 (i) 더 깊은 다중 모달 통합 및 정렬, (ii) 과도한 추론(overthinking) 및 환각(hallucination) 완화, (iii) 긴 입력에 대한 일관성 유지, (iv) 학습 안정성 향상 등에 기여할 수 있다고 주장한다. 나아가 알고리즘 설계, 강화 학습 기반 토큰 감소, 문맥 내 학습을 위한 토큰 최적화 등의 미래 연구 방향을 제시하며, 토큰 감소가 생성 모델의 강건성, 해석성 향상 및 목표 달성에 중요한 역할을 할 것이라고 결론짓는다.
