본 논문은 DeepSeek-R1과 같은 대규모 추론 모델이 생성하는 긴 사고 과정(CoT)을 작은 언어 모델(SLM)에 효과적으로 증류하는 방법을 제안합니다. 긴 CoT에는 불필요한 단계(과도한 추론)가 많아 SLM의 학습을 어렵게 만드는 문제를 해결하기 위해, 불필요한 단계를 제거하고 SLM이 유효하고 유용한 긴 CoT 학습 데이터를 생성하는 온-폴리시 방법을 제시합니다. 이를 통해 SLM은 효율적인 긴 CoT 추론을 학습하고 경쟁력 있는 성능을 유지할 수 있습니다. 수학적 추론 벤치마크 실험 결과, 제안된 방법이 불필요한 추론 단계를 줄이면서 경쟁력 있는 성능을 유지하는 데 효과적임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
긴 CoT 추론 능력을 SLM에 효과적으로 증류하는 새로운 방법 제시
◦
불필요한 추론 단계를 제거하여 SLM의 학습 효율 향상 및 성능 유지
◦
온-폴리시 학습 방법을 통해 SLM 자체가 유용한 학습 데이터를 생성하도록 함
◦
수학적 추론 벤치마크에서 효과를 검증
•
한계점:
◦
제안된 방법의 효과는 수학적 추론 벤치마크에 국한됨. 다른 영역으로의 일반화 가능성에 대한 추가 연구 필요
