본 논문은 방글라데시 문화, 역사, 방글라어 언어학 지식을 평가하기 위한 새로운 다중 선택형 질문(MCQ) 데이터셋인 BLUCK을 소개합니다. BLUCK은 대학 및 직업 수준 시험 문제들을 엮어 23개의 범주에 걸쳐 2366개의 MCQ로 구성되어 있습니다. 6개의 독점적 LLM과 3개의 오픈소스 LLM (GPT-4o, Claude-3.5-Sonnet, Gemini-1.5-Pro, Llama-3.3-70B-Instruct, DeepSeekV3 등 포함)을 사용하여 BLUCK의 성능을 벤치마킹한 결과, 모델들이 전반적으로 양호한 성능을 보였지만 방글라어 음운론 영역에서는 어려움을 겪는 것으로 나타났습니다. 본 연구는 방글라어의 중간 자원 언어로서의 지위를 시사하며, 방글라데시 문화, 역사, 언어학에 중점을 둔 최초의 MCQ 기반 평가 벤치마크를 제공합니다.
