본 논문은 대규모 강화학습(RL)을 활용하여 소형 및 중형 추론 모델의 성능을 향상시키는 연구 결과를 제시합니다. 기존 연구에서 강력한 추론 모델의 구축을 위한 최적의 RL 훈련 방식이 명확하지 않고, 주요 구현 세부 사항들이 생략되는 경우가 많았다는 점을 지적하며, 증류 기반 방법보다 RL 기반 방법이 더 효과적임을 보여줍니다. 수학 문제만으로 사전 훈련 후 코드 문제로 훈련하는 단계적 접근 방식을 제안하고, 이를 통해 수학 및 코드 추론 과제에서 모두 기존 최고 성능의 증류 기반 모델을 능가하는 결과를 얻었습니다. 고품질 검증 가능한 답변과 테스트 케이스를 포함하는 데이터 정제 파이프라인을 개발하여 검증 기반 RL을 가능하게 했습니다. 또한, 응답 길이를 점진적으로 늘리는 커리큘럼 학습과 온-폴리시 매개변수 업데이트의 안정화 효과 등 주요 실험적 통찰력을 제시합니다. 결론적으로, RL은 사전 훈련 및 지도 학습을 통해 습득한 기본적인 추론 능력을 이끌어낼 뿐만 아니라, 모델의 추론 능력의 한계를 뛰어넘어 이전에는 해결할 수 없었던 문제를 해결하도록 합니다.
