# TokenSkip: Controllable Chain-of-Thought Compression in LLMs

### 저자

Heming Xia, Chak Tou Leong, Wenjie Wang, Yongqi Li, Wenjie Li

### 개요

본 논문은 Chain-of-Thought (CoT)를 이용한 대규모 언어 모델(LLM)의 추론 성능 향상 연구에 대해 다룹니다.  CoT 길이를 늘리면 추론 성능이 향상되지만,  자동 회귀적 특성으로 인해 추론 시간이 선형적으로 증가하는 문제점을 지적합니다.  이를 해결하기 위해,  토큰의 의미적 중요도를 분석하여 중요도가 낮은 토큰을 선택적으로 건너뛰는 TokenSkip 기법을 제안합니다.  실험 결과,  다양한 모델과 과제에서 CoT 토큰 사용량을 줄이면서 추론 성능을 유지하는 TokenSkip의 효과를 보여줍니다. 특히 Qwen2.5-14B-Instruct 모델에서 GSM8K 과제의 추론 토큰을 40% 감소시키면서 성능 저하를 0.4% 미만으로 유지하는 결과를 얻었습니다.

### 시사점, 한계점

- **시사점:**

    - CoT 기반 LLM 추론의 효율성을 크게 향상시킬 수 있는 TokenSkip 기법을 제시.

    - LLM의 추론 속도와 성능 간의 균형을 개선하는 실질적인 방법 제시.

    - 토큰 중요도 분석을 통한 CoT 압축 전략의 효용성을 입증.

- **한계점:**

    - TokenSkip의 토큰 중요도 평가 방식에 대한 자세한 설명 부족.

    - 다양한 LLM과 과제에 대한 일반화 가능성에 대한 추가 연구 필요.

    - 특정 모델과 데이터셋에 국한된 실험 결과의 일반화 가능성 검토 필요.

[PDF 보기](https://arxiv.org/pdf/2502.12067)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).