Este artículo se centra en el fenómeno de los cambios en los comportamientos de entrada/salida a medida que se forman y remodelan estructuras computacionales complejas durante el aprendizaje profundo. Este estudio explora paisajes de pérdida de alta dimensión en el espacio de parámetros de las redes neuronales. Específicamente, aprovechando el marco de la teoría del aprendizaje singular, planteamos la hipótesis de que el desarrollo de modelos está estrechamente vinculado a las propiedades geométricas locales del paisaje de pérdida, conocidas como degeneración. A partir de un modelo de lenguaje de transformador y un transformador de regresión lineal específico del contexto, monitorizamos la degeneración del paisaje de pérdida durante todo el proceso de entrenamiento mediante coeficientes de aprendizaje local. Demostramos que el proceso de entrenamiento se divide en múltiples períodos, que se distinguen por cambios en la degeneración del paisaje de pérdida, y que estos cambios en la degeneración corresponden a cambios en la estructura computacional interna del transformador y en su comportamiento de entrada/salida. Esto proporciona evidencia que sugiere que la degeneración y la evolución están vinculadas en los transformadores, lo que destaca el potencial de una perspectiva basada en la degeneración para comprender el aprendizaje profundo moderno.
