본 논문은 Group Relative Policy Optimization (GRPO) 기반 추론 모델의 훈련 속도를 높이기 위해 Completion Pruning Policy Optimization (CPPO)를 제안합니다. GRPO는 효과적이지만 각 질문에 대해 여러 완료를 샘플링해야 하므로 높은 훈련 비용이 발생합니다. CPPO는 낮은 절대 이점을 가진 완료를 제거하여 gradient 계산 및 업데이트에 필요한 완료 수를 줄이고, 동적 완료 할당 전략을 도입하여 GPU 활용도를 극대화합니다. CPPO는 GSM8K에서 최대 $7.98\times$, Math에서 $3.48\times$ 속도 향상을 달성하면서 정확도를 유지하거나 향상시킵니다.
