본 논문은 대규모 추론 모델(LRM)을 위한 강화학습 방법인 그룹 상대 정책 최적화(GRPO)의 한계점을 분석하고, 새로운 강화학습 프레임워크인 판별 제약 최적화(DisCO)를 제시합니다. GRPO의 이진 보상 설정에서 질문 난이도 편향 문제를 밝히고, GRPO와 기존의 지도학습 판별 방법 간의 연관성을 규명합니다. DisCO는 판별적 목적 함수를 사용하고, 클리핑 기반 대리 목적 함수 대신 비클리핑 RL 대리 목적 함수를 사용하며, KL 발산 제약을 적용하는 제약 최적화 기법을 사용합니다. 이를 통해 질문 난이도 편향을 제거하고, 엔트로피 불안정성을 해결하며, 데이터 불균형 문제를 완화합니다. 실험 결과, DisCO는 GRPO 및 DAPO 등의 개선된 변형보다 수학적 추론 능력 향상에 있어 유의미한 성능 향상을 보였습니다.
