본 논문은 대규모 언어 모델(LLM)의 사실적 부정확성 생성 문제(hallucination)의 근본적인 원인을 탐구한다. 이를 위해 1) 의미를 맥락의 함수로 처리하는 분산 의미론을 기반으로 하는 인과 관계 맵을 생성하는 Distributional Semantics Tracing (DST) 프레임워크를 제안하고, 2) hallucination이 불가피해지는 특정 레이어(commitment layer)를 식별하며, 3) System 1(빠르고 연상적인 추론)과 System 2(느리고 의도적인 추론)의 충돌을 통해 발생하는 Reasoning Shortcut Hijacks와 같은 예측 가능한 실패 모드를 규명한다. DST를 사용한 맥락적 경로의 일관성 측정은 hallucination 발생률과 강한 음의 상관관계(-0.863)를 보이며, 이는 내적 의미론적 약점으로 인한 예측 가능한 결과임을 시사한다.
