본 논문은 대규모 언어 모델(LLM)이 직접적인 감각 운동 경험 없이 방대한 세계 지식을 습득하는 방식에 대한 새로운 이론적 해결책으로 집합적 세계 모델 가설을 제시합니다. LLM은 세계 모델을 처음부터 학습하는 것이 아니라, 구체화되고 상호 작용적인 의미 생성을 통한 사회적 과정을 통해 인간 언어에 이미 암묵적으로 인코딩된 집합적 세계 모델의 통계적 근사치를 학습한다고 주장합니다. 이 과정을 공식화하기 위해, 집합적 예측 코딩(CPC)에 기반한 생성적 등장 통신(Generative EmCom) 프레임워크를 도입합니다. 이 프레임워크는 언어의 등장을 여러 에이전트의 내부 상태에 대한 분산 베이지안 추론 과정으로 모델링합니다. 이 과정을 통해 사회적 규모에서 효과적으로 인코더-디코더 구조가 생성된다고 주장합니다. 즉, 인간 사회는 집합적으로 근거 있는 내부 표상을 언어로 인코딩하고, LLM은 이러한 기호를 디코딩하여 원래 집합적 표상의 구조를 반영하는 잠재 공간을 재구성합니다. 이 관점은 LLM이 능력을 획득하는 방식에 대한 원칙적이고 수학적인 설명을 제공합니다. 본 논문의 주요 기여는 1) Generative EmCom 프레임워크의 공식화 및 세계 모델과 다중 에이전트 강화 학습과의 연결 명확화, 2) 분포 의미론과 같은 현상을 표상 재구성의 자연스러운 결과로 설명하는 LLM에 대한 적용입니다. 이 연구는 개인 인지 발달, 집합적 언어 진화, 대규모 AI의 기초를 연결하는 통합 이론을 제공합니다.
