본 논문은 대규모 언어 모델(LLM)의 아랍어 언어 능력을 평가하기 위한 완전 수동 주석 처리된 벤치마크인 AraLingBench를 제시합니다. 이 벤치마크는 문법, 형태론, 철자법, 독해, 구문론 등 5가지 핵심 범주에 걸쳐 있으며, 구조적 언어 이해를 직접 평가하는 150개의 전문가가 설계한 객관식 문제로 구성됩니다. 35개의 아랍어 및 이중 언어 LLM을 평가한 결과, 현재 모델은 표면적 수준의 숙련도는 뛰어나지만, 더 깊이 있는 문법 및 구문적 추론에는 어려움을 겪는 것으로 나타났습니다. AraLingBench는 지식 기반 벤치마크에서 높은 점수를 획득하는 것과 진정한 언어적 숙달 사이의 지속적인 격차를 강조하며, 많은 모델이 진정한 이해보다는 암기 또는 패턴 인식을 통해 성공함을 보여줍니다. AraLingBench는 기본적인 언어 능력을 격리하고 측정함으로써 아랍어 LLM 개발을 위한 진단 프레임워크를 제공합니다.
