본 논문은 여러 교사 모델을 활용하여 장거리 사고 과정(CoT) 모델의 추론 능력을 효율적으로 증류하는 새로운 방법인 Merge-of-Thought Distillation (MoT)을 제안합니다. 기존의 단일 교사 모델에 의존하는 증류 방식의 한계를 극복하기 위해, MoT는 여러 교사 모델의 지도를 통합하여 학생 모델을 학습시킵니다. 각 교사 모델별로 학생 모델을 fine-tuning하고, 그 결과들을 가중치 공간에서 병합하는 과정을 반복적으로 수행합니다. 경쟁 수학 벤치마크에서 소량의 고품질 CoT 샘플만을 사용하여 Qwen3-14B 학생 모델에 MoT를 적용한 결과, DEEPSEEK-R1, QWEN3-30B-A3B, QWEN3-32B, OPENAI-O1 등 강력한 모델들을 능가하는 성능을 보였습니다. MoT는 단일 교사 증류 및 단순한 다중 교사 통합 방식보다 우수한 성능을 보이며, 과적합을 완화하고 분포 이동 및 동등한 수준의 교사 모델에도 강건함을 나타냅니다. 또한, catastrophic forgetting을 줄이고, 수학 영역을 넘어 일반적인 추론 능력을 향상시키며, 더 나은 교사 모델을 배양하는 효과도 보입니다. 이러한 결과는 MoT가 다양한 교사 모델로부터 효율적으로 장거리 CoT 능력을 소형 학생 모델로 증류하는 간단하고 확장 가능한 방법임을 보여줍니다.
