Este artículo aborda un desafío central en el aprendizaje profundo: comprender cómo las redes neuronales aprenden representaciones. Un enfoque clave es la Hipótesis de Características Neuronales (NFA) (Radhakrishnan et al. 2024), una conjetura sobre el mecanismo por el cual ocurre el aprendizaje de características. Si bien están validadas empíricamente, las NFA carecen de una base teórica, lo que dificulta comprender cuándo podrían fallar y cómo mejorarlas. Este artículo utiliza un enfoque de primeros principios para comprender por qué esta observación es cierta y cuándo no. Utilizando criterios de optimización de primer orden, derivamos la Característica en Convergencia (FACT), una alternativa a la NFA. FACT (a) logra una mayor concordancia con las características aprendidas en la convergencia, (b) explica por qué las NFA se cumplen en la mayoría de los entornos y (c) captura fenómenos esenciales del aprendizaje de características en redes neuronales, como el comportamiento de groking de la aritmética modular y las transiciones de fase en el aprendizaje de paridad dispersa, similar a las NFA. Por lo tanto, los resultados de este estudio integran el análisis teórico de optimización de primer orden de redes neuronales con la literatura de NFA impulsada empíricamente y proporcionan una alternativa basada en principios que es verificable y empíricamente válida en la convergencia.
