본 논문은 고가의 강화 학습이나 고품질의 장기적 사고 과정(CoT) 데모를 사용하는 지도 학습 없이, 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 새로운 방법을 제시합니다. 약한 모델의 감독을 통해 강한 모델의 추론 능력을 효과적으로 향상시킬 수 있는지 연구하며, 다양한 벤치마크와 모델 아키텍처에 걸쳐 실험을 진행합니다. 결과적으로, 상당히 약한 추론자의 감독이 강한 학습 모델의 추론 성능을 크게 향상시켜, 고가의 강화 학습의 약 94%에 달하는 성과를 훨씬 저렴한 비용으로 달성할 수 있음을 보여줍니다. 이는 강력한 추론 능력을 유도하는 데 있어 비용이 많이 드는 기존 방법에 대한 효과적이고 일반화 가능한 대안임을 시사합니다.
