본 논문은 다국어 평가 능력을 향상시킨 다국어 LLM 평가 모델인 M-Prometheus를 소개합니다. 기존의 LLM 평가 모델들이 영어에 편향되어 있는 문제를 해결하기 위해, 3B에서 14B 파라미터 규모의 다양한 LLM 판정 모델을 제시하며, 직접 평가 및 쌍대 비교 피드백을 제공합니다. 20개 이상의 언어를 포함하는 다국어 보상 벤치마크와 4개 언어 쌍을 포함하는 문학적 기계 번역 평가에서 최첨단 오픈 LLM 판정 모델들을 능가하는 성능을 보였으며, 디코딩 과정에 활용하여 다국어 모델 성능 향상을 달성했습니다. 효과적인 다국어 판정 모델을 위한 주요 요소로 백본 모델 선택과 번역된 데이터 대신 원어 다국어 피드백 데이터를 사용한 학습을 제시하며, 모델, 학습 데이터셋, 코드를 공개합니다.
