본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위해 단계별 보상을 제공하는 과정 수준 보상 모델(PRM)의 효과를 다각적으로 평가하기 위한 벤치마크인 MPBench를 제안합니다. 기존 텍스트 기반의 PRM 벤치마크가 오류 탐지에만 집중한 것과 달리, MPBench는 단계 정확성, 답변 집계, 추론 과정 탐색 등 세 가지 평가 패러다임을 통해 다양한 시나리오에서 PRM의 효과를 종합적으로 평가합니다. 특히, 다중 모드 PRM 개발에 대한 통찰력을 제공하는 것을 목표로 합니다.
시사점, 한계점
•
시사점:
◦
기존 텍스트 기반 PRM 벤치마크의 한계를 극복하고 다양한 시나리오에서 PRM의 효과를 종합적으로 평가할 수 있는 새로운 벤치마크(MPBench)를 제공합니다.
◦
단계 정확성, 답변 집계, 추론 과정 탐색 등 세 가지 평가 패러다임을 통해 PRM의 다양한 역할을 평가하여, 보다 포괄적인 분석을 가능하게 합니다.
◦
다중 모드 PRM 개발에 대한 중요한 통찰력을 제공합니다.
•
한계점:
◦
MPBench의 성능 평가 기준 및 척도에 대한 자세한 설명이 부족할 수 있습니다.
◦
제안된 벤치마크의 일반화 성능 및 다양한 LLM에 대한 적용 가능성에 대한 추가적인 연구가 필요합니다.
