언어 모델(LM)이 문법에 대해 무엇을 배웠는지에 대한 질문은 언어학 이론에 중요한 영향을 미치며, 여전히 뜨거운 논쟁의 대상이다. 본 논문은 문법, 의미, 문자열 확률 간의 관계에 대한 이론적 분석을 제시하며, 이를 통해 LM의 문법적 지식에 대한 통찰력을 얻고자 한다. 영어와 중국어의 28만 문장 쌍을 사용하여 세 가지 예측을 검증한다: (1) 최소 쌍 내 문자열 확률 간의 상관관계, (2) 모델과 인간의 최소 쌍 내 델타 간의 상관관계, (3) 짝을 이루지 않은 문법적 및 비문법적 문자열 간의 확률 공간 내 부실한 분리. 본 연구는 LM의 구조적 지식 학습에 확률을 사용하는 것에 대한 이론적 근거를 제공하며, LM 문법 평가의 향후 연구 방향을 제시한다.
