본 논문은 간단한 이진 피드백을 사용하여 대규모 언어 모델을 post-train하는 RLVR(Reinforcement Learning with Verifiable Rewards)의 작동 원리에 대한 이론적 기반을 구축합니다. 특히, 응답 공간에서 낮은 보상에서 높은 보상 영역으로의 개선 방향을 공식화하는 Gradient Gap이라는 개념을 중심으로 분석을 진행합니다. 논문은 RLVR의 수렴이 Gradient Gap에 따른 업데이트 방향의 정렬에 크게 의존하며, Gradient Gap의 크기에 따라 학습률의 임계값이 존재함을 증명합니다. 또한, 응답 길이 및 성공률에 따라 임계 학습률이 어떻게 조정되어야 하는지를 예측하고, 길이 정규화와 같은 실제적 경험적 방법론의 안정성을 설명합니다. 이러한 예측은 밴딧 시뮬레이션을 통해 검증됩니다.
