Bài báo này lập luận rằng việc sử dụng ngày càng nhiều dữ liệu tổng hợp từ Internet mở đã làm tăng hiệu quả dữ liệu của việc huấn luyện mô hình ngôn ngữ quy mô lớn (LLM), nhưng mối đe dọa tiềm ẩn của sự sụp đổ mô hình vẫn chưa được nghiên cứu đầy đủ. Các nghiên cứu hiện tại chủ yếu khảo sát sự sụp đổ mô hình trong bối cảnh mô hình đơn lẻ hoặc chỉ dựa vào các đại diện thống kê. Nghiên cứu này trình bày LLM Web Dynamics (LWD), một khuôn khổ hiệu quả để khảo sát sự sụp đổ mô hình ở cấp độ mạng. Bằng cách mô phỏng Internet bằng cơ sở dữ liệu thế hệ tăng cường tìm kiếm (RAG), chúng tôi phân tích các mô hình hội tụ của đầu ra mô hình và cung cấp các đảm bảo lý thuyết về sự hội tụ đó bằng cách tương tự với các mô hình hỗn hợp Gauss tương tác.
