본 논문은 언어의 구성성(compositionality)이라는 특징을 통해 제한된 규칙과 어휘로 무한한 문장 생성이 가능하다는 점에 주목합니다. 이는 언어의 고차원성에도 불구하고 상대적으로 적은 자유도로 설명될 수 있음을 시사합니다. 본 연구는 현대 언어 모델(LM)이 언어의 구성성에 기반한 이러한 본질적 단순성을 반영하는지 여부를 조사합니다. LM 하에서 데이터셋 표현의 고유 차원(intrinsic dimension, ID)을 구성성의 정도와 관련시켜 기하학적 관점에서 문제를 접근합니다. 데이터셋의 구성성 정도가 표현의 ID에 반영될 뿐만 아니라, 구성성과 기하학적 복잡성 간의 관계가 학습된 언어적 특징에 의해 발생함을 발견합니다. 마지막으로, 비선형 및 선형 차원성 간의 뚜렷한 대조를 보여주며, 각각 언어적 구성의 의미적 및 표면적 측면을 인코딩함을 밝힙니다.
