본 논문은 대규모 언어 모델(LLM)의 수학적 추론 능력 향상을 위한 새로운 프레임워크인 EpicPRM을 제안합니다. 기존의 프로세스 감독 보상 모델(PRM) 학습을 위한 데이터 생성 방법은 수동 주석이나 단계별 몬테카를로 추정 등으로 비용이 많이 들거나 품질이 낮다는 한계를 가지고 있습니다. EpicPRM은 각 중간 추론 단계의 기여도를 정량화하여 주석을 달고, 적응형 이진 탐색 알고리즘을 사용하여 주석의 정확성과 효율성을 높입니다. 이를 통해 5만 개의 주석이 달린 중간 단계로 구성된 고품질 프로세스 감독 학습 데이터셋 Epic50k를 효율적으로 구축합니다. Epic50k로 학습된 PRM은 기존 공개 데이터셋을 사용한 것보다 훨씬 우수한 성능을 보입니다. Epic50k는 GitHub에서 공개됩니다.
