대규모 언어 모델(LLM)은 규모 확장을 통해 많은 발전을 이루었지만, 환각, 컨텍스트 압축, 추론 저하, 검색 취약성, 다중 모달 정렬 불일치 등 5가지 근본적인 한계에 의해 제약됩니다. 본 논문은 이러한 현상들을 설명하는 기존 연구와 달리, 계산, 정보, 학습의 근본적인 한계와 연결하는 엄격한 이론적 틀을 제시합니다. 이는 LLM 확장의 내재적인 이론적 한계를 공식화하며, 계산 가능성, 정보 이론, 통계적 제약, 기하학적 및 계산적 효과, 그리고 모델 훈련 방식의 특성을 분석하여 LLM의 성능 한계를 설명합니다. 또한, bounded-oracle retrieval, positional curricula, sparse 또는 hierarchical attention과 같은 실용적인 완화 방법을 제시합니다.
