본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위해 기존의 비용이 많이 들거나 품질이 낮은 프로세스 감독 보상 모델(PRM) 학습 데이터 생성 방법의 한계를 극복하는 새로운 프레임워크인 EpicPRM을 제시한다. EpicPRM은 각 중간 추론 단계의 기여도를 정량화하여 주석을 달고, 적응형 이진 탐색 알고리즘을 사용하여 주석의 정확성과 효율성을 높인다. 이를 통해 5만 개의 주석이 달린 중간 단계로 구성된 고품질 프로세스 감독 학습 데이터셋 Epic50k를 효율적으로 구축한다. Epic50k로 학습된 PRM은 기존 공개 데이터셋을 사용한 PRM보다 훨씬 우수한 성능을 보인다. Epic50k는 GitHub에서 공개된다.
