본 논문은 Rule-based Reinforcement Learning (RL)이 Large Language Model (LLM)의 추론 능력을 향상시키는 데 효과적이지만, 그 작동 원리가 명확하지 않다는 점을 지적합니다. 소규모 Supervised Fine-tuning (SFT)이 RL에 상당한 영향을 미치지만 효율성이 떨어지는 현상을 발견하고, 이를 분석하기 위한 분석적 프레임워크를 제안합니다. SFT와 RL의 효율성을 샘플 효과(sample effect)를 측정하여 비교 분석한 결과, SFT의 효율성은 학습 데이터에 제한됨을 보였습니다. 이 분석을 바탕으로, RL로 학습된 정책으로부터 소규모 증류를 통해 사전 학습 모델을 미세 조정하는 '재증류(Re-distillation)' 기법을 제안합니다. Knight & Knave (K&K) 및 MATH 데이터셋 실험 결과, 재증류된 모델은 훨씬 적은 샘플과 계산으로 RL 성능과 동등한 성능을 달성하는 놀라운 효율성을 보였습니다. K&K 데이터셋에서 재증류된 Qwen2.5-1.5B 모델은 1K SFT 샘플만으로 DeepSeek-V3-0324를 능가했으며, MATH 데이터셋에서는 재증류된 500개 샘플로 미세 조정된 Qwen2.5-1.5B 모델이 RL을 사용하지 않은 지시 학습(instruct-tuned) 변형과 동등한 성능을 보였습니다. 샘플 효과가 성능 향상의 좋은 지표임을 실증적으로 확인하였으며, R1 스타일 RL에서 나타나는 몇 가지 흥미로운 현상을 설명하여 경험적 성공의 메커니즘을 밝히는 데 기여합니다.
