본 논문은 DeepSeek-R1과 같은 대규모 추론 모델이 생성하는 긴 사고 과정(CoT)을 작은 언어 모델(SLM)에 효과적으로 증류하는 방법을 제시합니다. 긴 CoT에는 불필요한 단계(과도한 사고)가 많아 SLM의 학습을 어렵게 하므로, 불필요한 단계를 제거하고 SLM이 유효하고 유용한 긴 CoT 학습 데이터를 생성하도록 하는 온-폴리시 방법을 제안합니다. 이를 통해 SLM은 효율적인 긴 CoT 추론 능력을 효과적으로 학습하고 경쟁력 있는 성능을 유지할 수 있습니다. 수학적 추론 벤치마크 실험 결과는 제안된 방법의 효과를 보여주며, 경쟁력 있는 성능을 유지하면서 불필요한 추론 단계를 크게 줄이는 것을 확인했습니다.
시사점, 한계점
•
시사점:
◦
긴 CoT 추론 능력을 SLM에 효과적으로 증류하는 새로운 방법 제시
◦
불필요한 추론 단계를 제거하여 SLM의 학습 효율 향상
◦
경쟁력 있는 성능 유지하면서 추론 단계의 과도함 문제 해결
◦
온-폴리시 학습 방법을 통해 SLM 스스로 유용한 학습 데이터 생성
•
한계점:
◦
제안된 방법의 효과는 주로 수학적 추론 벤치마크에 국한됨. 다른 유형의 추론 문제에 대한 일반화 가능성은 추가 연구 필요.
◦
"온-폴리시 방법"의 구체적인 알고리즘 및 세부 사항에 대한 설명 부족.
◦
불필요한 단계의 판단 기준 및 효율적인 제거 방법에 대한 추가적인 설명이 필요할 수 있음.
