본 논문은 강화 학습(RL)을 사용하여 추론 언어 모델(LM)을 훈련하는 기존 방식의 한계를 극복하기 위해, 강화 학습으로 훈련된 교사 모델(Reinforcement-Learned Teachers, RLTs)을 제시합니다. 기존 RL 기반 추론 LM 훈련은 초기 설정에서 과제를 해결할 가능성에 의존하며, 주로 새로운 모델을 위한 교사 역할로 활용됩니다. RLT는 문제와 해결책을 모두 입력받아 학생 모델을 위한 상세한 설명을 생성하는 것을 목표로 합니다. 학생 모델의 이해도를 평가하여 밀집된 보상을 제공하는 방식으로 RLT를 훈련합니다. 7B 크기의 RLT는 기존의 대규모 LM 기반 증류 및 콜드 스타팅 방식보다 경쟁 및 대학원 수준 과제에서 더 높은 성능을 보였으며, 더 큰 학생 모델 훈련과 분포 외 과제에 대한 제로샷 적용에서도 효과적임을 보여줍니다. 이는 RL 기반 추론 프레임워크의 효율성과 재사용성을 높이는 데 기여합니다.
