Cet article propose une méthode permettant de distiller des réseaux neuronaux à grande échelle en formules symboliques simples et compréhensibles par l'homme. Les méthodes existantes souffrent du problème de la faible précision des modèles d'étudiants, car les fonctions apprises par les réseaux neuronaux complexes sont inadaptées à la découverte de symboles. Pour résoudre ce problème, cet article présente un nouveau paradigme d'apprentissage qui, au lieu de distiller manuellement des réseaux neuronaux pré-entraînés, introduit une régularisation jacobienne . Cela incite un réseau neuronal « enseignant » à apprendre des fonctions non seulement précises, mais aussi intrinsèquement lisses et adaptées à la distillation. Des expériences sur divers benchmarks de régression réels démontrent l'efficacité de la méthode proposée. En optimisant la force de régularisation pour chaque problème, nous obtenons une amélioration moyenne de 120 % (relative) du score $R^2$ du modèle symbolique final distillé par rapport à un pipeline de distillation standard , tout en maintenant la précision prédictive de l'enseignant. En conclusion, cette étude présente une méthode pratique et fondée sur des principes pour améliorer significativement la précision des modèles interprétables extraits de réseaux neuronaux complexes.
