본 논문은 복잡한 추론 및 의사결정 과정에서 중간 단계의 중요성을 강조하며, 과정 수준 보상 모델(PRMs)의 정교한 오류 탐지 능력 평가를 위한 새로운 벤치마크인 PRMBench를 제시합니다. 기존 벤치마크들이 단계별 정확성에만 초점을 맞춘 것과 달리, PRMBench는 6,216개의 문제와 83,456개의 단계별 레이블을 통해 단순성, 타당성, 민감성 등 다차원적 평가를 제공합니다. 15개의 오픈소스 및 클로즈드소스 모델 실험 결과, 현재 PRMs의 상당한 약점이 드러났으며, 이는 과정 수준 평가의 어려움과 향후 연구 방향을 제시합니다. PRMBench는 PRM 평가 및 개발 연구를 위한 강력한 벤치마크가 될 것으로 기대됩니다.
