본 논문은 강화 학습과 검증 가능한 보상을 사용하여 훈련된 추론 모델(RLVR)이 새로운 문제를 해결하는 과정을 연구합니다. RLVR은 (1) pass@$k$를 pass@1로 압축하고 (2) 모델이 이전에는 높은 $k$에서도 해결할 수 없었던 새로운 문제를 해결하는 "능력 향상"을 통해 성능을 향상시킵니다. 모델 규모에 걸쳐 능력 향상이 존재하지만, 새로운 문제 해결 학습은 주로 자기 증류를 통해 이루어집니다. 수학, 과학, 코드 영역에서 프롬프트와 검증 가능한 최종 답변을 포함하는 50만 개 이상의 추론 문제에 대해 0.5B에서 72B 매개변수에 이르는 다양한 모델 규모에서 이러한 결과를 보여줍니다. 또한 모델이 처음부터 해결책 체인을 도출해야 하는 경우에도 모델이 맥락 내에서 고려할 수 있도록 자연어 안내를 활용하여 pass@$k$ 비율을 크게 향상시킬 수 있음을 보여줍니다. 이러한 통찰력을 바탕으로 새로운 온라인 훈련 알고리즘인 $\text{Guide}$를 도출합니다. $\text{Guide}$는 모든 롤아웃이 처음에 잘못되었던 문제에 대한 모델의 맥락에 힌트를 적응적으로 통합하고 "오프-폴리시" 궤적에 대한 중요도 샘플링 비율을 조정하여 더 이상 힌트가 없는 맥락에 대한 정책을 최적화합니다. GRPO 및 PPO에 대한 $\text{Guide}$의 변형을 설명하고, 7B 및 32B 매개변수 모델에서 Guide-GRPO가 기본적인 모델보다 일반화 성능을 최대 4% 향상시키는 것을 실험적으로 보여줍니다. $\text{Guide}$의 구성 요소를 분석하기 위한 신중한 절제 실험과 $\text{Guide}$의 학습 효율에 대한 이론적 분석을 포함합니다.
