본 논문은 영어와 중국어와 같은 자원이 풍부한 언어에 치우친 훈련 데이터로 인해 대규모 언어 모델(LLM)이 문화적 편향을 나타내는 문제를 다룹니다. 이를 해결하기 위해 말레이시아 문화를 바탕으로 한 새로운 벤치마크인 MyCulture를 제시합니다. MyCulture는 예술, 복장, 관습, 오락, 음식, 종교의 6가지 측면에서 말레이시아 문화에 대한 LLM의 이해도를 평가합니다. 기존 벤치마크와 달리, 미리 정의된 옵션이 없는 개방형 객관식 질문 형식을 사용하여 추측을 줄이고 형식적 편향을 완화합니다. 또한, 구조화된 출력과 자유 형식 출력 간의 모델 성능 비교를 통해 구조적 편향을 분석하고, 다국어 프롬프트 변형을 통해 언어적 편향을 평가합니다. 다양한 지역 및 국제 LLM에 대한 평가 결과 문화 이해에 대한 상당한 차이가 드러나며, LLM 개발 및 평가에 있어 문화적 기반과 언어적으로 포괄적인 벤치마크의 필요성을 강조합니다.
