본 논문은 사고 과정의 각 단계에 피드백을 제공하는 프로세스 감독이 추론 과제에서 대규모 언어 모델의 성능을 향상시키지만, 효과적인 방법의 부재로 논리적 오류와 불필요한 추론이 발생할 수 있다는 점을 지적합니다. 추론 체인의 정확성과 길이가 프로세스 감독의 효과에 비선형적으로 영향을 미친다는 점을 밝히고, 이러한 통찰을 바탕으로 새로운 프로세스 감독 패러다임인 PSPO를 제안합니다. PSPO는 보상 모델 훈련부터 정책 최적화까지의 워크플로우를 체계적으로 설명하고 비선형 보상의 중요성을 강조합니다. PSPO*를 기반으로 추론 단계 수를 고려하고 조정된 Weibull 분포를 사용하여 비선형 보상을 적용하는 PSPO-WRS를 개발했습니다. 6개의 수학적 추론 데이터셋에 대한 실험 결과, PSPO-WRS가 기존 주요 모델들을 꾸준히 능가하는 것을 보여줍니다.
