본 논문은 대규모 언어 모델의 추론 능력 향상을 위한 Test-Time Scaling 연구에서, 과도한 사고 과정(overthinking) 문제를 해결하는 새로운 강화 학습 방식인 S-GRPO(Serial-Group Decaying-Reward Policy Optimization)를 제시합니다. 기존의 결과 기반 강화 학습 방식의 한계를 극복하기 위해, S-GRPO는 중간 추론 단계의 충분성을 평가하여 사고 과정을 조기에 종료하도록 유도합니다. 병렬적으로 여러 추론 경로를 샘플링하는 기존 GRPO와 달리, S-GRPO는 하나의 추론 경로를 순차적으로 샘플링하고, 해당 경로에서 여러 시점을 선택하여 사고를 종료하고 답변을 생성합니다. 정답에 대한 보상은 추론 경로의 앞에서 뒤로 갈수록 점차 감소하여, 정확하고 간결한 사고와 적절한 시점의 사고 종료를 유도합니다. Qwen3 및 Deepseek-distill과 같은 최첨단 추론 모델에 적용하여 GSM8K, AIME 2024, AMC 2023, MATH-500, GPQA Diamond 등 다양한 벤치마크에서 시퀀스 길이를 35.4%61.1% 감소시키면서 정확도를 0.72%6.08% 향상시키는 결과를 보였습니다.
