본 논문은 콜모고로프 복잡도와 섀넌 정보 이론에 기반하여 압축과 예측 사이의 고전적인 관계를 재검토함으로써 대규모 언어 모델(LLM)의 작동 메커니즘과 스케일링 법칙, 환각 현상 등의 여러 현상에 대한 심층적인 통찰력을 제공합니다. 콜모고로프 구조 함수를 활용하고 LLM 압축을 두 부분으로 구성된 코딩 프로세스로 해석하여, LLM이 증가하는 모델 및 데이터 규모에 걸쳐 광범위한 구문 패턴부터 점점 더 드문 지식 요소에 이르기까지 정보를 획득하고 저장하는 방법에 대한 자세한 내용을 제시합니다. 이러한 이론적 관점과 힙의 법칙과 짚프의 법칙에서 영감을 받은 자연스러운 가정을 바탕으로, Syntax-Knowledge 모델이라는 단순화되었지만 대표적인 계층적 데이터 생성 프레임워크를 제시합니다. 베이지안 설정 하에서, 이 모델 내의 예측과 압축은 LLM의 다양한 학습 및 스케일링 동작으로 자연스럽게 이어짐을 보여줍니다. 특히, 이론적 분석은 데이터 및 모델 스케일링 법칙, 훈련 및 미세 조정 중 지식 획득 역학, LLM의 사실적 지식 환각에 대한 직관적이고 원칙적인 설명을 제공합니다. 실험 결과는 이론적 예측을 검증합니다.
