A Survey of Process Reward Models: From Outcome Signals to Process Supervisions for Large Language Models

Thu, 30 Apr 2026 07:38:55 GMT

### 저자

Congmin Zheng, Jiachen Zhu, Zhuoying Ou, Yuxiang Chen, Kangning Zhang, Rong Shan, Zeyu Zheng, Mengyue Yang, Jianghao Lin, Yong Yu, Weinan Zhang

### 💡 개요

본 논문은 최종 결과만을 평가하는 기존의 성과 기반 강화학습 방식의 한계를 극복하기 위해, 대규모 언어 모델(LLM)의 추론 과정을 단계별 혹은 궤적 수준에서 평가하고 지도하는 과정 기반 강화학습 모델(PRM)에 대한 포괄적인 설문조사를 제공합니다. PRM의 데이터 생성, 모델 구축, 그리고 테스트 시간 스케일링 및 강화학습 적용 방안을 체계적으로 분석하며, 다양한 분야에서의 응용 사례와 새로운 벤치마크를 검토합니다. 궁극적으로는 세밀하고 강건한 추론 정렬을 위한 향후 연구 방향을 제시하고자 합니다.

### 🔑 시사점 및 한계

- LLM의 복잡한 추론 과정을 효과적으로 평가하고 개선할 수 있는 새로운 접근 방식인 PRM의 중요성을 강조합니다.

- 수학, 코딩, 텍스트, 멀티모달 추론, 로보틱스, 에이전트 등 다양한 영역에 PRM을 적용할 수 있는 잠재력을 보여줍니다.

- PRM 구축을 위한 데이터 생성 및 모델 설계에 있어 아직 해결해야 할 과제가 남아있으며, 향후 연구를 통해 이를 극복해야 함을 시사합니다.

---

[PDF 보기](https://arxiv.org/pdf/2510.08049)