본 논문은 Deepseek-R1의 성공 이후 주목받는 강화학습 기반 대규모 언어 모델(LLM) 학습 방법인 GRPO의 한계점을 해결하는 연구입니다. 기존의 0/1 기반 보상 함수는 사고 연쇄(CoT) 생성 과정의 중간 추론 과정을 제어하지 못하여 과도한 추론(overthinking) 현상을 야기합니다. 최근 연구들은 짧고 정확한 답변을 유도하는 보상 함수를 설계했지만, 길이 제약 보상 함수는 학습 불안정성을 심화시켜 정확도가 급격히 저하되는 문제가 있습니다. 본 논문에서는 이를 해결하기 위해, 각 쿼리 샘플 그룹 내 정답률을 모니터링하여 보상 전략을 동적으로 조정하는 GRPO-λ를 제안합니다. 정답률이 낮으면 길이 제약을 피하고 추론 능력을 우선시하는 0/1 보상으로 전환하고, 정답률이 높으면 길이 제약을 유지하여 효율성을 높입니다. 실험 결과, GRPO-λ는 길이 제약으로 인한 학습 불안정성을 해결하면서 정확도-효율성 균형을 유지합니다. GSM8K, GPQA, MATH-500, AMC 2023, AIME 2024 벤치마크에서 평균 정확도를 1.48% 향상시키고 CoT 시퀀스 길이를 47.3% 단축했습니다.
