본 논문은 장문의 사고과정(CoT) 추론 과정에 적용되는 기존의 PRM(Prompt-based Reasoning Model) 데이터 주석 방법의 한계점을 지적하고, 이를 개선하는 새로운 주석 방법을 제시합니다. 기존 방법들은 장문 CoT 추론에서 첫 번째 잘못된 단계와 그 이전 단계들에만 집중하여 후속 단계의 정답 여부를 무시하는 경향이 있습니다. 본 논문에서는 오류 전파(Error Propagation)와 오류 중단(Error Cessation) 개념을 도입하여, 장문 CoT의 자기 수정 및 반성 메커니즘을 고려한 새로운 주석 방법을 제안합니다. LLM 기반 판단자를 활용하여 170만 개의 데이터 샘플을 수집하여 7B PRM을 훈련하였으며, 다양한 지표(검색 안내, BoN, F1 점수)에서 기존 오픈소스 PRM 및 데이터셋보다 우수한 성능을 달성함을 실험적으로 보여줍니다. 또한, 제안된 방법의 데이터 효율성 및 성능 우수성을 기존 MC 기반 주석 방법과 비교 분석하고, 안정성과 일반화 가능성에 대한 분석도 수행합니다.
