본 논문은 대규모 언어 모델(LLM)의 환각 문제, 특히 수학 문제 해결과 같은 다단계 추론 작업에서의 환각 문제를 해결하기 위해 계층적이고 오류 인식 기능을 갖춘 새로운 Process Reward Model(PRM)인 PathFinder-PRM을 제안합니다. PathFinder-PRM은 각 단계의 수학적 오류와 일관성 오류를 분류하고, 이러한 세분화된 신호를 결합하여 단계의 정확성을 추정합니다. 40만 개의 샘플로 구성된 데이터셋을 이용하여 학습된 PathFinder-PRM은 PRMBench에서 67.7의 PRMScore를 달성하여 기존 최고 기록(65.5)을 능가하며, 데이터 사용량은 3배 적습니다. 보상 유도 탐욕적 검색에 적용했을 때 prm@8 48.3을 달성하여 기존 최고 성능 대비 1.5 포인트 향상을 보였습니다. 이는 오류 탐지와 보상 추정의 분리는 세분화된 오류 탐지뿐 아니라 데이터 효율성을 높인 최종 보상 유도 수학적 추론 성능 향상에도 기여함을 보여줍니다.
