Jawaher: A Multidialectal Dataset of Arabic Proverbs for LLM Benchmarking
Created by
Haebom
Category
Empty
저자
Samar M. Magdy, Sang Yun Kwon, Fakhraddin Alwajih, Safaa Abdelfadil, Shady Shehata, Muhammad Abdul-Mageed
개요
본 논문은 최근 발전에도 불구하고 대규모 언어 모델(LLM)이 여전히 서구 중심적인 편향을 가지고 있으며, 특히 다양한 문화적 함의를 지닌 비유적 표현, 예컨대 속담을 이해하는 데 어려움을 겪는다는 문제를 제기한다. 이를 해결하기 위해 아랍 속담을 이용한 벤치마크 Jawaher를 제안하고, 다양한 LLM을 평가하여 번역은 잘하지만 문화적 맥락을 고려한 설명 생성에는 어려움을 겪는다는 점을 보여준다. 따라서 LLM의 문화적 편향 해소를 위해 모델 개선과 데이터 확장이 필요함을 강조한다.
시사점, 한계점
•
시사점:
◦
LLM의 문화적 편향 문제, 특히 비유적 표현 이해의 어려움을 명확히 제시.
◦
아랍 속담을 활용한 새로운 벤치마크 Jawaher를 제공.
◦
LLM의 번역 능력과 문화적 이해 능력 간의 격차를 실증적으로 보여줌.
◦
LLM의 문화적 편향 해소를 위한 모델 개선 및 데이터셋 확장의 필요성 제시.
•
한계점:
◦
Jawaher는 아랍 속담에 국한되어 다른 언어 및 문화권으로의 일반화에 제한이 있을 수 있음.
◦
평가에 사용된 LLM의 종류 및 버전이 명시적으로 제시되지 않아 일반화에 어려움이 있을 수 있음.
