Este artículo aborda la tendencia de las redes neuronales profundas (DNN) modernas a inducir densidad espectral empírica (ESD) de colas pesadas (HT) en los pesos de capa. Si bien estudios previos han demostrado que el fenómeno de HT se correlaciona con una buena generalización en redes neuronales de gran escala, aún no existe una explicación teórica para su ocurrencia. En particular, comprender las condiciones que desencadenan este fenómeno podría ayudar a dilucidar la interacción entre la generalización y la densidad espectral de pesos. Este estudio busca subsanar esta deficiencia presentando un entorno simple y rico para modelar la aparición de ESD de HT. Específicamente, presentamos un entorno basado en la teoría que "crea" colas pesadas en ESD en redes neuronales de dos capas y proporcionamos un análisis sistemático de la aparición de ESD de HT sin ruido de gradiente. Este es el primer estudio que analiza entornos sin ruido e incorpora tasas de aprendizaje (altas) dependientes del optimizador (GD/Adam) en el análisis de ESD de HT. Nuestros resultados destacan el papel de las tasas de aprendizaje en las primeras etapas del entrenamiento para las formas de ESD Bulk+Spike y HT, lo que puede promover la generalización en redes neuronales de dos capas. Estas observaciones, aunque realizadas en una configuración mucho más simple, ofrecen información sobre el comportamiento de las redes neuronales a gran escala.
