본 논문은 대규모 언어 모델(LLM)의 추론 능력을 향상시키기 위해 고안된 새로운 신뢰 기반 보상 모델(C2RM)을 제안한다. 기존의 규칙 기반 강화 학습(RL)의 한계를 극복하기 위해, C2RM은 잘못된 답변뿐만 아니라 신뢰도가 낮은 정답도 처벌하여 보다 강력하고 논리적으로 일관된 추론을 장려한다. STEM 추론 능력을 향상시키는 데 초점을 맞춰, 정적 평가, Best-of-N 추론 테스트, PPO 기반 RL 학습을 통해 C2RM의 효과를 검증했으며, 다양한 STEM 벤치마크에서 여러 최첨단 오픈 소스 보상 모델보다 우수한 성능을 보였다.
