본 논문은 현대 LLM 분석에 중요한 도구인 내재적 차원(ID)을 텍스트 속성과의 연관성을 통해 심층적으로 연구한다. 교차 인코더 분석, 언어학적 특징, 희소 자동 인코더(SAEs)를 활용하여 ID를 해석 가능한 텍스트 속성으로 연결하는 최초의 포괄적인 연구를 제시한다. 주요 결과는 다음과 같다: ID는 엔트로피 기반 지표와 상호 보완적이며, 텍스트 길이를 통제한 후에도 상관관계가 없으며, 예측 품질과 다른 기하학적 복잡성을 포착한다. ID는 장르에 따라 일관된 경향성을 보이며, 과학적 문체는 낮은 ID를, 백과사전 내용은 중간 ID를, 창작/의견 글은 높은 ID를 나타낸다. SAE를 사용하여 과학적 신호(공식적인 어조, 보고서 템플릿, 통계)는 ID를 감소시키고, 인간적인 신호(개인화, 감정, 서사)는 ID를 증가시키는 인과적 특징을 식별했다.
