본 논문은 대규모 언어 모델(LLM)의 추론 능력 향상을 위한 새로운 보상 모델 접근법인 계층적 보상 모델(HRM)을 제안합니다. 기존의 프로세스 보상 모델(PRM)이 보상 해킹 문제로 인해 신뢰성이 떨어지는 점을 개선하고자, HRM은 미세 및 거시적 수준에서 개별 및 연속적인 추론 단계를 모두 평가합니다. 특히 이전 추론 단계가 잘못되었을 때 추론 일관성과 자기 반성을 더 잘 평가합니다. 또한, 몬테카를로 트리 탐색(MCTS)을 통한 PRM 훈련 데이터 자체 생성의 비효율성을 해결하기 위해, 트리 구조에서 노드 병합(두 개의 연속적인 추론 단계를 하나의 단계로 결합)을 기반으로 하는 경량적이고 효과적인 데이터 증강 전략인 계층적 노드 압축(HNC)을 제시합니다. PRM800K, MATH500, GSM8K 데이터셋 실험 결과, HRM과 HNC의 조합은 PRM에 비해 우수한 안정성과 신뢰성을 달성하며, 다양한 추론 작업에서 뛰어난 일반화 및 강건성을 보여줍니다.
