본 논문은 대규모 추론 모델(LRM)을 위한 강화 학습 방법인 GRPO(Group Relative Policy Optimization)의 한계점을 분석하고, 새로운 강화 학습 프레임워크인 DisCO(Discriminative Constrained Optimization)를 제시합니다. GRPO는 질문 난이도 편향이라는 고질적인 문제를 가지고 있는데, DisCO는 차별적 학습 원리를 기반으로 이러한 문제를 해결합니다. DisCO는 그룹 상대적 목적 함수 대신 점수 함수로 정의된 차별적 목적 함수를 사용하고, 클리핑 기반 대리 목적 함수 대신 비클리핑 RL 대리 목적 함수를 사용하며, KL divergence 제약 조건을 강화하는 간단하면서도 효과적인 제약 최적화 방식을 채택합니다. 실험 결과, DisCO는 수학적 추론 능력 향상에 있어 GRPO 및 DAPO(GRPO의 개선된 변형)보다 6~7%의 성능 향상을 보였습니다.
