본 논문은 비자명적인 지식 집합을 수행할 수 있는 대규모 언어 모델(LLM)이 진실된 지식 표현, 의미 정보 보존, 관련 지식의 완전한 공개, 그리고 지식 제약 최적화를 동시에 달성할 수 없다는 근본적인 불가능성 정리를 제시합니다. 이 불가능성은 공학적인 한계가 아니라 정보 집합 자체의 수학적 구조에서 기인합니다. 논문은 추론 과정을 부분적인 지식을 이용하여 응답을 형성하기 위해 경쟁하는 분산된 구성 요소들의 아이디어 경매로 묘사하여 이를 증명합니다. 증명은 메커니즘 디자인 이론(Green-Laffont), 적절한 점수 규칙 이론(Savage), 그리고 트랜스포머의 직접적인 구조 분석(Log-Sum-Exp 볼록성) 등 세 가지 독립적인 수학적 영역에 걸쳐 이루어집니다. 특히, 과신하거나 직관적인 응답(환각과 창의성 또는 상상력의 특징)의 생성을 정량화하는 방법을 보여줍니다. 이 분석을 뒷받침하기 위해 제한된 추론을 일반적인 설정에서 모델링하기 위한 의미 정보 측정 및 출현 연산자의 보완적인 개념을 도입합니다. 제한된 추론은 귀중한 통찰력과 영감을 제공하는 접근 가능한 정보를 생성하지만, 이상적인 제약 없는 추론은 의미 내용을 엄격하게 보존한다는 것을 증명합니다. 환각과 상상력이 진실성, 의미 정보 보존, 관련 지식의 공개 및 지식 제약 최적화에서 벗어나는 것을 기반으로 수학적으로 동일한 현상임을 보임으로써, 고급 AI 시스템에서 이러한 행동을 관리하기 위한 원칙적인 기반을 제공합니다. 마지막으로, 제안된 이론의 평가와 개선을 위한 몇 가지 추측적인 아이디어를 제시합니다.
