본 논문은 영어 중심의 대규모 언어 모델(LLM)의 다국어 능력 평가를 위한 새로운 방법인 MEXA를 제안합니다. 기존의 다국어 벤치마크가 제한된 언어와 과제에 집중하는 것과 달리, MEXA는 더 많은 언어에 대해 이용 가능한 병렬 문장을 활용하여 영어를 피벗 언어로 사용하는 영어 중심 LLM의 언어 이해력 전이를 평가합니다. MEXA는 영어와 비영어 간의 정렬을 계산하여 다양한 언어에서의 모델 성능을 추정하며, Llama, Gemma, Mistral, OLMo 등 다양한 모델과 FLORES-200 및 성경 데이터셋, 그리고 Belebele, m-MMLU, m-ARC와 같은 기존 과제를 사용하여 실험을 진행합니다. 실험 결과, MEXA는 예측 점수와 실제 과제 성능 간에 평균 0.90의 피어슨 상관관계를 달성하여 다국어 능력을 신뢰성 있게 추정하는 방법임을 보여줍니다.
