본 논문은 다양한 언어 사용자를 위한 사용자 경험 향상을 위해 비영어권 언어의 대규모 다중 모달 모델(LMM) 연구 가속화의 중요성을 강조하며, 일본어 LMM 평가를 위한 최초의 대규모 벤치마크인 JMMMU(Japanese MMMU)를 소개합니다. JMMMU는 일본 문화적 맥락을 기반으로 전문가 수준의 과제를 평가하도록 설계되었습니다. 문화와 무관한 과제(수학 등)를 일본어로 번역한 문화 비의존적(CA) 하위 집합과 일본 문화적 맥락을 반영하는 새롭게 제작된 과제로 구성된 문화 특유적(CS) 하위 집합의 두 가지 하위 집합으로 구성됩니다. CA 하위 집합을 사용한 평가 결과, 많은 LMM에서 일본어로 평가 시 성능 저하가 나타났으며, 이는 순전히 언어적 차이 때문임을 밝혔습니다. CS 하위 집합을 사용하여 일본 문화에 대한 이해 부족을 드러냈고, 두 하위 집합을 결합하여 일부 LMM은 CA 하위 집합에서는 좋은 성능을 보이지만 CS 하위 집합에서는 그렇지 못함을 밝혀내어, 문화적 이해의 깊이가 부족한 피상적인 일본어 이해를 보여주었습니다. JMMMU는 일본어 LMM 성능 향상에 기여하고 다국어 LMM 개발을 위한 높은 수준의 문화적으로 다양한 벤치마크를 만드는 지침으로 활용될 것으로 기대됩니다.
시사점, 한계점
•
시사점:
◦
일본어 LMM의 성능 평가를 위한 최초의 대규모 벤치마크 JMMMU 제시.
◦
문화적 맥락을 고려한 LMM 평가의 중요성 강조 및 방법 제시 (CA 및 CS 하위 집합).
◦
일본어 LMM의 언어적 이해 및 문화적 이해 수준 진단 가능.
◦
다국어 LMM 개발을 위한 문화적으로 다양한 벤치마크 개발 가이드라인 제시.
•
한계점:
◦
JMMMU가 일본어에 특화되어 있어 다른 언어에 대한 일반화에는 한계가 있을 수 있음.
◦
현재 벤치마크의 규모 및 과제의 다양성이 향후 더욱 확장될 필요가 있음.
◦
전문가 수준의 과제에 국한되어 일반 사용자 수준의 LMM 평가에는 적합하지 않을 수 있음.
