본 논문은 대규모 언어 모델(LLMs)이 고자원 언어에서는 강력한 일반화 능력을 보이지만, 타밀어와 같이 저자원 및 형태론적으로 풍부한 언어에서의 언어적 능력은 제대로 탐구되지 않았다는 점에 주목한다. 기존의 다국어 벤치마크는 번역된 영어 데이터셋에 의존하여 대상 언어의 언어적, 문화적 뉘앙스를 포착하지 못하는 문제를 해결하기 위해, 저자들은 스리랑카 학교 수준의 타밀어 시험 문제 820개를 수동으로 큐레이션하여 최초의 타밀어 특정 언어 평가 벤치마크인 ILAKKANAM을 제시한다. ILAKKANAM은 훈련된 언어학자들에 의해 5가지 언어 범주와 사실적 지식 범주로 분류되었으며, 광범위한 언어적 범위를 보장하기 위해 1학년부터 13학년까지의 내용을 포괄한다. 본 논문은 폐쇄형 및 오픈 소스 LLM을 표준화된 평가 프레임워크를 사용하여 평가했다. Gemini 2.5가 가장 높은 전체 성능을 보였고 오픈 소스 모델은 뒤처졌으며, 언어적 이해의 격차를 보여주었다. 범주별 및 학년별 분석 결과, 모든 모델이 저학년 문제에서는 좋은 성적을 보였지만 언어적 복잡성이 증가함에 따라 성능이 감소했다. 또한 모델의 전반적인 성능과 언어 범주를 식별하는 능력 사이에는 강한 상관관계가 없어, 성능이 진정한 이해보다는 노출에 의해 좌우될 수 있음을 시사했다.
