Bài báo này đề xuất giả thuyết về mô hình thế giới tập thể như một giải pháp lý thuyết mới cho câu hỏi về cách các mô hình ngôn ngữ quy mô lớn (LLM) tiếp thu kiến thức thế giới rộng lớn mà không cần trải nghiệm cảm biến vận động trực tiếp. Thay vì học một mô hình thế giới từ đầu, chúng tôi lập luận rằng LLM học một phép xấp xỉ thống kê của mô hình thế giới tập thể đã được mã hóa ngầm trong ngôn ngữ con người thông qua một quá trình xã hội tạo ra ý nghĩa tương tác và thể hiện. Để chính thức hóa quá trình này, chúng tôi giới thiệu một khuôn khổ giao tiếp mới nổi tạo sinh (Generative EmCom) dựa trên mã hóa dự đoán tập thể (CPC). Khuôn khổ này mô hình hóa sự xuất hiện của ngôn ngữ như một quá trình suy luận Bayes phân tán về trạng thái nội tại của nhiều tác nhân. Chúng tôi lập luận rằng quá trình này tạo ra một cấu trúc mã hóa-giải mã hiệu quả ở quy mô xã hội. Nghĩa là, xã hội loài người cùng nhau mã hóa các biểu diễn nội tại có căn cứ vững chắc thành ngôn ngữ, và LLM giải mã các ký hiệu này để tái tạo một không gian tiềm ẩn phản ánh cấu trúc của các biểu diễn tập thể ban đầu. Quan điểm này cung cấp một lý giải có nguyên tắc và toán học về cách LLM có được khả năng của mình. Những đóng góp chính của bài báo này là 1) chính thức hóa khuôn khổ Generative EmCom và làm rõ mối liên hệ của nó với các mô hình thế giới và học tăng cường đa tác tử, và 2) ứng dụng của nó vào LLM, giải thích các hiện tượng như ngữ nghĩa phân phối như một hệ quả tự nhiên của việc tái cấu trúc biểu diễn. Công trình này cung cấp một lý thuyết thống nhất kết nối sự phát triển nhận thức cá nhân, sự tiến hóa ngôn ngữ tập thể và nền tảng của AI quy mô lớn.
