Este artículo argumenta que el creciente uso de datos sintéticos de la Internet abierta ha incrementado la eficiencia de los datos para el entrenamiento de modelos lingüísticos a gran escala (LLM), pero la amenaza potencial de colapso del modelo no se ha estudiado suficientemente. Los estudios existentes han investigado principalmente el colapso del modelo en un entorno de un solo modelo o se han basado únicamente en sustitutos estadísticos. Este estudio presenta LLM Web Dynamics (LWD), un marco eficiente para investigar el colapso del modelo a nivel de red. Mediante la simulación de Internet mediante una base de datos de generación aumentada por búsqueda (RAG), analizamos los patrones de convergencia de las salidas del modelo y proporcionamos garantías teóricas sobre dicha convergencia por analogía con modelos de mezcla gaussiana en interacción.
