본 논문은 다단계 추론 전략을 활용하는 모델의 중간 단계 추론의 타당성을 감독하는 문제를 해결하기 위해, 단계별 피드백을 제공하는 프로세스 보상 모델을 제안합니다. 기존의 프로세스 보상 모델은 설명을 제공하지 않고, 정적 데이터셋을 이용한 지도 학습에 의존하여 일반화 능력이 제한적이라는 한계점을 가지고 있습니다. 본 논문에서는 단계별 보상 모델링을 분류 작업이 아닌 추론 작업으로 재구성하여, 정책 모델의 추론 단계에 대해 추론하는 생성적 판단자(generative judge)를 제안합니다. 제안하는 모델, StepWiser는 롤아웃의 상대적 결과를 이용한 강화 학습으로 훈련되며, 기존 방법보다 향상된 중간 단계 판단 정확도, 훈련 시 정책 모델 개선, 추론 시간 검색 개선 등의 결과를 보여줍니다.
