본 논문은 강화 학습(RL)을 실세계 과제에 적용할 때 객관적 및 주관적 평가 기준 간의 균형을 맞추는 것이 어려운 점을 다룹니다. 특히, 명확한 기준 진실이 부족한 과제에서는 사후 훈련 언어 모델에 대한 신뢰할 수 있는 보상 신호를 정의하기 어렵습니다. 기존의 선호도 기반 방법은 해결책을 제시하지만, 해석이 어렵고 허위 상관 관계에 취약한 불투명한 보상 함수에 의존합니다. 본 논문에서는 구조화된 체크리스트 스타일의 평가 기준(rubrics)을 해석 가능한 보상 신호로 사용하는 $\textbf{Rubrics as Rewards}$ (RaR) 프레임워크를 제시합니다. GRPO를 사용한 온-폴리시 훈련에 적용되며, HealthBench-1k에서 기존의 단순한 Likert 기반 접근 방식에 비해 최대 28%의 상대적 성능 향상을 보였고, 전문가가 작성한 참고 자료에서 파생된 보상 신호와 동등하거나 우수한 성능을 달성했습니다. RaR은 평가 기준을 구조화된 보상 신호로 처리함으로써, 소규모 판단 모델이 인간의 선호도와 더 잘 일치하고 모델 규모에 걸쳐 견고한 성능을 유지하도록 합니다.
