본 논문은 GRPO RL 알고리즘이 토큰 시퀀스 간의 특정 가정 하에서 비자명한 과정 보상 모델(PRM)을 유도한다는 것을 이론적으로 증명한다. 실제 조건에서 이러한 가정이 충족됨을 실증적으로 보이고, GRPO 목적 함수의 결함을 파악하여 탐험과 활용을 방해하는 비균등하게 분포된 과정 단계를 지적한다. 이를 해결하기 위해 $\lambda$-GRPO를 제안하고, $\lambda$-GRPO로 훈련된 LLM이 표준 GRPO로 훈련된 LLM보다 높은 검증 정확도와 다운스트림 추론 작업 성능을 달성하며, 최고 성능에 더 빠르게 도달함을 보여준다. 연구 결과는 비용이 많이 드는 명시적으로 정의된 PRM의 이점에 의문을 제기하며, 바닐라 GRPO 알고리즘 내의 숨겨진 PRM 구조를 활용하여 모델 성능을 향상시킬 수 있음을 보여준다.
