Este artículo propone un método para destilar redes neuronales a gran escala en fórmulas simbólicas simples y comprensibles. Los métodos existentes presentan el problema de generar modelos de estudiante de baja precisión, ya que las funciones aprendidas por las redes neuronales complejas son inadecuadas para el descubrimiento de símbolos. Para abordar este problema, este artículo presenta un nuevo paradigma de entrenamiento que, en lugar de destilar manualmente redes neuronales preentrenadas, introduce la regularización basada en jacobianos . Esto induce a una red neuronal "maestra" a aprender funciones que no solo son precisas, sino también inherentemente fluidas y adecuadas para la destilación. Experimentos en diversos puntos de referencia de regresión del mundo real demuestran la eficacia del método propuesto. Al optimizar la fuerza de regularización para cada problema, logramos una mejora promedio del 120 % (relativa) en la puntuación $R^2$ del modelo simbólico destilado final, en comparación con una secuencia de destilación estándar , manteniendo la precisión predictiva del modelo maestro. En conclusión, este estudio presenta un método práctico y basado en principios para mejorar significativamente la precisión de los modelos interpretables extraídos de redes neuronales complejas.
