Cheems: A Practical Guidance for Building and Evaluating Chinese Reward Models from Scratch
Created by
Haebom
저자
Xueru Wen, Jie Lou, Zichao Li, Yaojie Lu, Xing Yu, Yuqiu Ji, Guohai Xu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Debing Zhang
개요
본 논문은 중국어 환경에서의 보상 모델(Reward Model, RM) 평가 및 학습을 위한 새로운 벤치마크와 데이터셋을 제시한다. 기존 연구들이 영어 중심이고 인공 데이터에 의존하는 한계를 극복하고자, 완전히 사람이 주석을 단 중국어 RM 평가 벤치마크인 CheemsBench와 대규모의 다양한 선호도 데이터셋인 CheemsPreference를 개발했다. CheemsBench를 사용하여 오픈소스 RM들을 평가한 결과, 중국어 환경에서 인간의 선호도를 제대로 포착하지 못하는 한계를 발견했고, CheemsPreference를 기반으로 학습된 RM이 최고 성능을 달성함을 보여주며, RM 학습에 인간의 감독이 필수적임을 강조한다. 결론적으로, 대규모 AI 생성 데이터는 인간의 선호도를 완전히 포착하는 데 어려움이 있으며, 고품질의 인간 감독이 RM 개발에 중요함을 시사한다.
시사점, 한계점
•
시사점:
◦
중국어 환경에서의 RM 평가 및 학습을 위한 고품질 벤치마크(CheemsBench)와 데이터셋(CheemsPreference) 제공.
◦
기존 오픈소스 RM들의 중국어 환경 적용 한계를 실험적으로 증명.
◦
인간 감독 기반 RM 학습의 중요성 강조 및 우수한 성능 달성.
◦
AI 생성 데이터만으로는 인간의 선호도를 충분히 반영하기 어려움을 제시.
•
한계점:
◦
CheemsBench와 CheemsPreference는 중국어에 국한됨. 다른 언어로의 확장성 연구 필요.
