본 논문은 대규모 언어 모델 (LLM)의 추론 능력 향상을 위해 몬테카를로 트리 탐색 (MCTS)으로 생성된 궤적을 활용하여 선호도 기반 강화 학습 (RL)에서 정책 최적화를 개선하는 방법을 연구합니다. 특히, 가치 네트워크 없이 선호도 일관성 있는 정책 학습을 가능하게 하는 Group Relative Policy Optimization (GRPO) 알고리즘에 초점을 맞추어, MCTS 롤아웃을 활용한 트리 구조 커리큘럼 기반의 GRPO 학습 방식을 제안합니다. 이 과정에서 각기 다른 기대 보상을 갖는 다양한 접두사 (prefix)에서 생성된 샘플에 대한 어드밴티지 계산 문제를 해결하기 위해, 트리 계층 구조를 존중하는 제약 조건 하에서 보상을 투영하여 분산이 낮은 접두사 인식 어드밴티지를 계산하는 Staged Advantage Estimation (SAE) 프레임워크를 제안합니다. 실험 결과는 수학적 추론 과제에서 SAE가 표준 GRPO보다 최종 정확도를 향상시켰음을 보여주며, 이는 SAE가 기울기 분산을 감소시킨다는 이론적 분석에 기반합니다.
