본 논문은 고급 추론 모델(DeepSeek-R1, OpenAI의 o1 등)의 데이터를 활용하여 작고 효율적인 학생 모델에 복잡한 추론 능력을 전이하는 모델 증류의 최신 연구에 대해 다룹니다. 기존 방법들은 잘못된 추론 예시를 버리는 rejection sampling을 사용하지만, 본 논문은 잘못된 예시 또한 유용한 정보를 담고 있다는 점에 착안하여, 오프라인 환경에서 양성 및 음성 추론 데이터를 모두 효과적으로 활용하여 LLM 추론 성능을 극대화하는 방법을 제시합니다. 이를 위해, 두 단계로 구성된 강화 증류(REDI) 프레임워크를 제안합니다. 1단계는 Supervised Fine-Tuning(SFT)을 통해 양성 데이터를 학습하고, 2단계는 제안된 REDI 목적 함수를 통해 양성 및 음성 데이터를 모두 사용하여 모델을 개선합니다. REDI 목적 함수는 기존의 DPO나 SimPO보다 성능이 우수하며, 수학적 추론 과제에서 기존 방법들보다 우수한 성능을 보입니다. 특히, 공개된 Open-R1 데이터셋의 131k 양성 및 음성 예시로 재학습된 Qwen-REDI-1.5B 모델은 MATH-500에서 83.1%의 정확도를 달성하여, 800k의 독점 데이터로 재학습된 DeepSeek-R1-Distill-Qwen-1.5B 모델과 비슷하거나 더 나은 성능을 보이며, 공개 데이터로 오프라인 재학습된 1.5B 모델의 새로운 최고 성능을 달성합니다.
