본 논문은 대규모 언어 모델(LLM)의 입력 토큰 공간 구조를 실험적 및 이론적으로 분석하여, LLM의 동작을 이해하는 데 필수적인 토큰 임베딩의 구조를 밝히고자 한다. 연구진은 각 토큰 주변의 이웃 공간이 상대적으로 평평하고 매끄럽다는 귀무가설을 바탕으로 새로운 통계적 검정(fiber bundle hypothesis)을 제시한다. 귀무가설을 기각하지 못하는 경우는 정보가 없지만, 특정 토큰 ψ에서 귀무가설을 기각하는 경우 ψ-이웃 공간 B(ψ)에서의 불규칙성을 의미한다. 여러 오픈소스 LLM의 토큰 임베딩에 대한 검정 결과, 귀무가설이 자주 기각되어 토큰 부분 공간이 fiber bundle이 아니며 따라서 다양체도 아님을 시사한다. 이러한 결과는 의미적으로 동등한 두 프롬프트에 대해, 하나의 프롬프트가 검정에서 불규칙성이 있는 토큰을 포함하는 경우, 그 프롬프트에 대한 응답이 다른 프롬프트보다 안정성이 떨어질 가능성이 높음을 의미한다.
