본 논문은 R1 스타일 강화학습(RL)이 대규모 언어 모델의 추론 능력을 향상시키는 데 효과적이지만, 규칙 기반 RL의 메커니즘은 불명확하다는 점을 지적합니다. 소규모 SFT(Supervised Fine-Tuning)가 RL에 상당한 영향을 미치지만 효율성이 떨어지는 현상을 발견하고, 이를 설명하기 위해 분석적 프레임워크를 제안합니다. SFT와 RL의 효율성을 샘플 효과를 측정하여 비교 분석한 결과, SFT의 효율성은 훈련 데이터에 의해 제한됨을 보였습니다. 이 분석을 바탕으로, RL로 학습된 정책으로부터 소규모 증류를 통해 사전 훈련 모델을 미세 조정하는 '재증류(Re-distillation)' 기법을 제안합니다. Knight & Knave 및 MATH 데이터셋 실험 결과, 재증류된 모델은 훨씬 적은 샘플과 계산으로 RL 성능에 근접함을 보였습니다. 샘플 효과가 성능 향상의 좋은 지표임을 실험적으로 검증하였으며, K&K 데이터셋에서 재증류된 Qwen2.5-1.5B 모델은 1K SFT 샘플만으로 DeepSeek-V3-0324를 능가했습니다. MATH 데이터셋에서는 재증류된 500개 샘플로 미세 조정된 Qwen2.5-1.5B 모델이 RL을 사용하지 않은 지시어 조정된 변형과 동등한 성능을 보였습니다. 본 연구는 R1 스타일 RL의 몇 가지 흥미로운 현상을 설명하고, 경험적 성공의 메커니즘을 밝히는 데 기여합니다.
