데이터가 부족한 도메인에서 전문가 LLM을 훈련하는 것은 어렵고, 객관식 문제(MCQ)에 의존하는 경우가 많습니다. 하지만 MCQ에 대한 표준 결과 기반 강화 학습(RL)은 위험합니다. 정확도를 향상시킬 수 있지만, 논리적 일관성과 같은 추론 품질을 저하시키는 경우가 많습니다. 추론을 감독하기 위한 기존 솔루션, 예를 들어 대규모 프로세스 보상 모델(PRM)은 비용이 많이 듭니다. 이를 해결하기 위해, CLARity를 제안합니다. 이는 작고 범용적인 LLM만을 사용하여 추론 품질을 향상시키는 비용 효율적인 RL 프레임워크입니다. CLARity는 일관성 인식 보상 메커니즘을 2단계 정제-모니터 훈련 파이프라인과 통합하여 추론 일관성을 향상시키고, 제한된 데이터를 더 잘 활용하기 위한 동적 데이터 재구성 전략을 사용합니다. 실험 결과, CLARity는 기준선보다 응답 일관성을 16.5%, 정확도를 7.5% 향상시켰습니다. 인간 평가를 통해 조화력과 전문성이 더욱 향상되었음이 확인되었습니다. 따라서 CLARity는 작은 모델이 추론 일관성을 통해 전문가 모델을 효과적으로 안내할 수 있는 일반화 가능한 솔루션을 제공합니다.
