본 논문은 대규모 언어 모델(LLM)의 보상 모델링을 개선하는 방법을 제시합니다. 기존의 보상 모델링은 응답 전체에 대한 점수에 의존하여 학습하지만, 이는 세밀하지 못한 지도 신호이기 때문에 일반화 성능이 저조합니다. 본 논문에서는 생성 확률을 활용하여 응답 과정 간의 보상 일관성을 확립함으로써 응답 수준의 지도 신호를 과정 전반으로 전파하여 보상 학습을 위한 세밀한 신호를 추가로 제공하는 방법을 제안합니다. 베이지안 프레임워크 하에서 분석을 기반으로, 높은 다음 토큰 생성 확률을 가진 인접 과정은 더 일관된 보상을 유지하도록 하는 과정 내 일관성 규제를 개발했습니다. RewardBench에서 향상된 성능을 보이는 고급 결과 보상 모델에 제안된 규제를 적용하였으며, 제안된 규제로 학습된 보상 모델이 더 나은 DPO 정렬 정책을 유도하고, 더 나은 Best-of-N (BON) 추론 시간 검증 결과를 달성함을 보여줍니다.
