본 논문은 장문 추론에서 대규모 언어 모델(LLM)의 추론 과정에 존재하는 중복성을 제거하여 성능을 향상시키는 방법을 제시한다. LLM의 추론 과정에서 주의점수(attention score)를 분석하여 중복된 추론 단계를 식별하고, 특히 '생각 끝' 토큰을 이용하여 중복 토큰을 제거하는 구조 인식 가지치기(structure-aware pruning) 기법을 제안한다. 이를 통해 불필요한 정보를 제거하고 집중력을 높여 추론 정확도를 향상시키며, 특히 수학 경시대회 문제와 같이 추론 중복이 많은 문제에서 효과가 크다는 것을 실험적으로 보여준다. 이는 추가적인 학습 없이 이루어진다.
