본 논문은 언어 모델의 성능 평가에 있어 기존의 정확도 중심 평가 방식의 한계를 지적하고, 희귀한 문법 규칙, 특히 영어 이외 언어의 문법적 뉘앙스를 평가하는 새로운 방법을 제안합니다. 일본어의 '일인칭 심리술어 제약' 문법 규칙을 사용하여 언어 모델의 당황도(perplexity)를 측정함으로써, 문법적인 문장과 비문법적인 문장에 대한 모델의 반응을 비교 분석합니다. 그 결과, 70억~100억 파라미터 범위의 오픈소스 모델 중 Weblab만이 비문법적인 문장에 대해 일관되게 높은 당황도를 보였으며, 이는 Weblab의 토큰화 문제와 관련이 있을 가능성을 제시합니다. 또한, Llama 3의 경우 토큰화가 잘 된 문장에 대해서는 당황도가 28배까지 감소하는 것을 확인하였고, 기계 번역 실험을 통해 토큰화 문제로 인해 자연스러운 문장 생성이 어려워지면 모델이 대안적인 문법 패턴을 사용하는 경향을 보임을 밝힙니다.
