Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

M-RewardBench: Evaluating Reward Models in Multilingual Settings

Created by
  • Haebom

저자

Srishti Gureja, Lester James V. Miranda, Shayekh Bin Islam, Rishabh Maheshwary, Drishti Sharma, Gusti Winata, Nathan Lambert, Sebastian Ruder, Sara Hooker, Marzieh Fadaee

개요

본 논문은 다국어 환경에서의 보상 모델(Reward Model, RM) 성능을 체계적으로 평가한 연구입니다. 주로 영어로 훈련되고 평가되는 RM의 다국어 능력에 대한 연구가 부족하다는 점을 지적하며, 23개 언어의 2,870개 선호도 데이터로 구성된 다국어 RM 평가 벤치마크 M-RewardBench를 처음으로 구축했습니다. 다양한 RM을 M-RewardBench로 평가하여, 영어와 비영어 간 성능 차이, 언어 간 RM 선호도 차이, 번역 품질 및 언어 자원량이 RM 성능에 미치는 영향 등을 분석했습니다. 결과적으로, 고품질 번역과 풍부한 언어 자원이 RM 성능 향상에 기여함을 밝혔으며, M-RewardBench 데이터셋과 코드를 공개하여 다국어 환경에서의 RM 평가 연구를 촉진하고자 했습니다.

시사점, 한계점

시사점:
다국어 환경에서의 RM 성능 평가를 위한 최초의 벤치마크인 M-RewardBench를 제시.
영어와 비영어 간 RM 성능의 격차를 규명하고, 언어 간 RM 선호도의 차이를 분석.
번역 품질과 언어 자원량이 RM 성능에 미치는 영향을 실증적으로 제시.
다국어 RM 연구를 위한 데이터셋 및 코드 공개를 통해 후속 연구 지원.
한계점:
M-RewardBench에 포함된 언어의 수와 데이터 양이 향후 더욱 확장될 필요가 있음.
평가에 사용된 RM의 종류가 더욱 다양해질 필요가 있음.
RM 성능에 영향을 미치는 다른 요인들에 대한 추가적인 분석이 필요할 수 있음.
👍