본 논문은 대규모 추론 모델(LRM)이 생성한 긴 사고 과정(CoT) 데이터를 이용하여 소규모 모델의 추론 능력을 향상시키는 증류 기법의 한계점을 다룹니다. 기존 증류 방법은 긴 CoT 데이터가 소규모 모델의 학습에 어려움을 야기하고 편향을 유발한다는 문제점을 지적합니다. 이를 해결하기 위해, 본 논문은 Monte Carlo Tree Search(MCTS)를 이용하여 트리 기반 CoT 데이터를 새롭게 생성하고, 사고 길이 균형, 세분화된 DPO, 공동 사후 훈련 목표 등의 CoT 인식 접근 방식을 활용하여 지도 미세 조정(SFT) 및 강화 학습(RL)을 개선하는 방법을 제안합니다. 수학(GSM8K, MATH, AIME), 지시 따르기(Multi-IF), 계획(Blocksworld) 등 다양한 벤치마크에서 실험을 통해 제안된 방법이 기존 증류 모델보다 추론 성능을 크게 향상시키고, 장기간 사고에서의 착각을 줄이는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
MCTS를 이용한 트리 기반 CoT 데이터 생성 및 CoT 인식 접근 방식을 통해 소규모 모델의 추론 성능 향상 가능성을 제시.
