본 논문은 비디오 이해에서 고차원 추론을 위한 저차원 시각 신호 연결의 중요성을 강조하며, 자율주행, 임베디드 AI, AGI 등의 응용 분야에 대한 기반 기술임을 밝힙니다. 기존의 Chain-of-Thought(CoT) 기술을 활용한 대규모 언어 모델(LLM) 기반 접근 방식은 주로 텍스트 정보에 의존하여 실제 비디오 추론 과정에서 시각적 모달리티를 간과하는 한계점을 지적합니다. 이에 본 논문은 인간의 시각적 내용 재검토 과정을 모방하여, 보다 직관적이고 인지적으로 일치하는 추론을 가능하게 하는 새로운 비디오 추론 패러다임인 Video-Text Interleaved CoT (ViTCoT)를 제안합니다. 핵심 비디오 선택을 위해 MLLM을 사용하고 수동으로 검증된 Video-Text Interleaved Benchmark (ViTIB)를 구축하고, ViTCoT 패러다임의 잠재력을 광범위하게 탐구합니다. 실험 결과, ViTCoT는 기존의 텍스트 기반 CoT 방식에 비해 성능을 크게 향상시키고, MLLM에서 더 많은 뉴런 값을 활성화시키는 것을 보여줍니다.
