Cheems: A Practical Guidance for Building and Evaluating Chinese Reward Models from Scratch
Created by
Haebom
Category
Empty
저자
Xueru Wen, Jie Lou, Zichao Li, Yaojie Lu, Xing Yu, Yuqiu Ji, Guohai Xu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Debing Zhang
개요
본 논문은 중국어 환경에서의 보상 모델(Reward Model, RM) 연구의 부족을 해결하기 위해, 인간이 완전히 주석을 단 중국어 RM 평가 벤치마크인 CheemsBench와 대규모 다양한 선호도 데이터셋인 CheemsPreference를 제시합니다. CheemsPreference는 인간-기계 협업을 통해 주석이 달렸습니다. 논문에서는 오픈소스 판별적 및 생성적 RM들을 CheemsBench에서 체계적으로 평가하여 중국어 상황에서 인간의 선호도를 포착하는 능력의 한계를 보였습니다. 또한 CheemsPreference를 기반으로 최첨단 성능을 달성하는 RM을 구축하여 RM 훈련에서 인간 감독의 필요성을 입증했습니다. 결론적으로, 확장된 AI 생성 데이터는 인간의 선호도를 완전히 포착하는 데 어려움이 있으며, 고품질 인간 감독의 중요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
중국어 환경에서의 RM 연구를 위한 새로운 벤치마크(CheemsBench)와 데이터셋(CheemsPreference) 제공.
◦
기존 오픈소스 RM들의 중국어 환경에서의 성능 한계를 밝힘.
◦
인간 감독 기반 RM 훈련의 중요성을 실험적으로 증명.
◦
고품질 인간 주석 데이터의 중요성 강조.
•
한계점:
◦
CheemsBench와 CheemsPreference의 규모 및 다양성에 대한 추가적인 검토 필요.
