본 논문은 대규모 언어 모델의 테스트 시간 스케일링에서 사고연쇄(CoT) 생성 길이를 연장하여 추론 능력을 향상시키는 최신 방법들을 다룹니다. 기존의 결과 보상 강화 학습은 중간 추론 단계를 조절하는 것을 체계적으로 간과하여 과도한 사고 중복(overthinking) 문제를 야기합니다. 이를 해결하기 위해, 본 논문은 Serial-Group Decaying-Reward Policy Optimization (S-GRPO)이라는 새로운 강화 학습 방법을 제안합니다. S-GRPO는 모델이 추론 단계의 충분성을 판단하고 CoT 생성을 조기에 종료할 수 있도록 합니다. 기존의 GRPO와 달리, 여러 시점에서 모델이 사고를 종료하고 답을 생성하도록 하며, 정답에 대해서는 위치에 따라 감소하는 보상을 부여하여 초기 단계에서 더 높은 품질의 답변을 생성하도록 합니다. 실험 결과, Qwen3 및 Deepseek-distill 모델 등 최첨단 추론 모델과의 호환성을 보이며, GSM8K, AIME 2024, AMC 2023, MATH-500 및 GPQA Diamond 벤치마크에서 35.4% ~ 61.1%의 시퀀스 길이 감소와 0.72% ~ 6.08%의 정확도 향상을 달성했습니다.
