Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Bucles de entrenamiento recursivos en LLM: ¿Cómo las propiedades de los datos de entrenamiento modulan el cambio de distribución en los datos generados?

Created by
  • Haebom

Autor

Grgur Kova\v{c}, Jeremy Perez , Rémy Portelas, Peter Ford Dominey, Pierre-Yves Oudeyer

Describir

Este artículo estudia el fenómeno del colapso del modelo que ocurre durante el entrenamiento iterativo de un modelo de lenguaje a gran escala (LLM) utilizando datos sintéticos generados por el LLM. Específicamente, analizamos empíricamente el impacto de las características de los datos humanos en este cambio distributivo. Utilizando varios conjuntos de datos humanos, realizamos un entrenamiento iterativo y, mediante la manipulación de las características del conjunto de datos y el análisis de regresión, identificamos las características de los datos que predicen la magnitud del cambio distributivo. Encontramos que la diversidad léxica amplifica el cambio distributivo, mientras que la diversidad semántica y la calidad de los datos lo mitigan. Además, demostramos que estos efectos son modulares, lo que significa que los datos recopilados de un dominio específico de Internet tienen poca influencia en la creación de contenido en otros dominios. Finalmente, los experimentos sobre sesgo político demuestran que las características de los datos humanos influyen en si los sesgos iniciales se amplifican o se reducen. Finalmente, presentamos una perspectiva novedosa sobre cómo diferentes partes de Internet pueden experimentar diferentes tipos de cambio distributivo.

Takeaways, Limitations

•
Takeaways:
◦
Identificamos características de los datos (diversidad léxica, diversidad semántica y calidad de los datos) que predicen la magnitud de los cambios de distribución que ocurren durante el proceso de aprendizaje iterativo de LLM.
◦
Presentamos la modularidad del impacto de las características de dominio de los datos de Internet en la creación de contenido en LLM.
◦
Análisis del impacto de las características de los datos humanos en el sesgo político en los LLM.
◦
Demuestra la diversidad de cambios distributivos que ocurren en diferentes áreas de Internet.
•
Limitations:
◦
Restricciones en el tipo y alcance de los conjuntos de datos y características utilizados en el análisis.
◦
Se necesitan más investigaciones sobre la generalización de las mediciones cuantitativas de los cambios distributivos y los modelos de predicción.
◦
Es necesaria la verificación de generalización para varias arquitecturas LLM y metodologías de aprendizaje.
◦
Se necesita más investigación sobre el alcance y los límites de la modularidad, lo que significa que la influencia de un dominio específico no se extiende a otros dominios.
👍
Made with Slashpage