본 논문은 Chain-of-Thought (CoT)를 이용한 대규모 언어 모델(LLM)의 추론 성능 향상 연구에 대해 다룹니다. CoT 길이를 늘리면 추론 성능이 향상되지만, 자동 회귀적 특성으로 인해 추론 시간이 선형적으로 증가하는 문제점을 지적합니다. 이를 해결하기 위해, 토큰의 의미적 중요도를 분석하여 중요도가 낮은 토큰을 선택적으로 건너뛰는 TokenSkip 기법을 제안합니다. 실험 결과, 다양한 모델과 과제에서 CoT 토큰 사용량을 줄이면서 추론 성능을 유지하는 TokenSkip의 효과를 보여줍니다. 특히 Qwen2.5-14B-Instruct 모델에서 GSM8K 과제의 추론 토큰을 40% 감소시키면서 성능 저하를 0.4% 미만으로 유지하는 결과를 얻었습니다.
