본 논문은 Chain-of-Thought (CoT) 단계에서 이산 토큰 대신 연속 토큰을 사용하는 대규모 언어 모델(LLM)의 추론 방식에 대해 다룬다. 연속 토큰 혼합을 통해 여러 추론 경로의 중첩을 동시에 시뮬레이션할 수 있다는 직관에 기반하여, 이론적으로 연속 토큰이 훨씬 더 큰 표현력을 가지며 특정 문제를 더 효율적으로 해결할 수 있다는 점이 증명되었다. 하지만 기존 연구에서는 사전 훈련된 이산 토큰 모델에 추론 시에만 연속 토큰을 사용하거나, 연속 CoT를 실제 이산 CoT로부터 증류해야 하는 계산 비용 문제로 인해 CoT의 토큰 수가 매우 제한적이었다. 본 연구는 기준 이산 CoT로부터 증류하지 않고 강화 학습(RL)을 통해 연속 CoT를 학습하는 확장 가능한 방법을 처음으로 제시한다. "소프트" 토큰, 즉 토큰 혼합과 입력 임베딩의 노이즈를 RL 탐색에 사용하여 계산 오버헤드를 최소화하고, 수백 개의 토큰으로 연속 CoT를 학습할 수 있게 한다. Llama 및 Qwen 모델(최대 8B)을 사용한 수학 추론 벤치마크에서 연속 CoT로 훈련한 결과, pass@1에서는 이산 토큰 CoT와 동등한 성능을 보였고, pass@32에서는 이를 능가하는 성능을 보이며 더 다양한 CoT를 생성함을 보여준다. 최적의 성능은 연속 CoT 토큰으로 훈련하고 추론에는 이산 토큰을 사용하는 경우이며, "소프트" 모델을 표준 방식으로 배포할 수 있음을 의미한다. 마지막으로, 연속 CoT RL 훈련이 도메인 외 작업에서 기본 모델의 예측을 더 잘 보존하여 기본 모델에 부드러운 영향을 준다는 것을 보여준다.
