본 논문은 사고 과정(Chain-of-Thought, CoT) 추론의 계산 비용을 줄이기 위한 새로운 방법인 R-Stitch를 제안합니다. CoT 추론은 대규모 언어 모델(LLM)의 문제 해결 능력을 향상시키지만, 긴 토큰 시퀀스에 대한 자동 회귀적 디코딩으로 인해 계산 비용이 많이 듭니다. 기존의 가속화 전략은 조기 중단이나 압축 보상 설계를 통해 시퀀스 길이를 줄이거나, 소규모 모델을 이용한 예측적 디코딩을 통해 디코딩 속도를 향상시키는 방식을 취했습니다. 하지만 예측적 디코딩은 소규모 모델과 대규모 모델 간의 일치율이 낮을 경우 속도 향상이 제한적이며, 소규모 모델이 간결한 중간 추론을 생성하는 데 가지는 잠재적 이점을 활용하지 못합니다. R-Stitch는 소규모 언어 모델(SLM)과 대규모 언어 모델(LLM) 간을 전환하는 토큰 수준의 신뢰도 기반 하이브리드 디코딩 프레임워크로, SLM의 신뢰도가 임계값 아래로 떨어질 때만 LLM을 사용하여 효율성과 정확성을 모두 유지합니다. 모델에 독립적이며, 학습이 필요 없고, 표준 디코딩 파이프라인과 호환됩니다. 수학 추론 벤치마크 실험 결과, R-Stitch는 추론 지연 시간을 최대 85%까지 줄이면서 정확도 저하가 거의 없음을 보여줍니다.
