본 논문은 대규모 언어 모델(LLM)의 사후 훈련에서 강화 학습(RL)을 사용하여 추론 능력을 향상시키는 방법을 연구합니다. 기존 RL의 어려움인 다양한 도메인에서 정확한 보상 신호를 얻는 문제를 해결하기 위해, 본 논문에서는 일반적인 질의에 대한 추론 시간 확장성을 개선하는 보상 모델링(RM) 방법을 제시합니다. 특히, 다양한 입력 유형에 유연하게 대처하고 추론 시간 확장성을 높일 수 있는 점별 생성적 보상 모델링(GRM)을 채택합니다. 더 나아가, 자기 원칙 비판 조정(SPCT)이라는 새로운 학습 방법을 제안하여 온라인 RL을 통해 GRM의 확장 가능한 보상 생성 동작을 촉진하고, 평행 샘플링과 메타 RM을 이용하여 추론 시간 확장성을 더욱 향상시킵니다. 실험 결과, SPCT는 기존 방법보다 우수한 성능을 보이며, 훈련 시간 확장보다 더 나은 성능을 달성할 수 있음을 보여줍니다. 개발된 모델 DeepSeek-GRM은 일부 과제에서 여전히 어려움을 겪지만, 향후 일반적인 보상 시스템에 대한 연구를 통해 개선될 수 있을 것으로 기대하며, 모델은 공개될 예정입니다.
