この論文では、大規模なニューラルネットワークを単純かつ人間が理解できる記号式で蒸留する方法を提案します。従来の方法では、複雑なニューラルネットワークで学習された関数がシンボル発見に適していないため、精度の低い学生モデルを生成するという問題があります。これを解決するために、この論文は、事前に訓練されたニューラルネットワークを受動的に蒸留するのではなく、ヤコビアンベースの正規化を導入して、「教師」ニューラルネットワークが正確であるだけでなく、本質的に滑らかで蒸留に適した関数を学習するように導く新しいトレーニングパラダイムを提示します。さまざまな実際の回帰ベンチマークに対する実験を通じて提案された方法の効果を実証し、各問題に対する正規化強度を最適化し、標準蒸留パイプラインと比較して最終蒸留シンボルモデルの$R^2$スコアを平均120％（相対的に）向上させるとともに、教師の予測精度を維持します。結論として、この研究は、複雑なニューラルネットワークから抽出された解析可能なモデルの精度を大幅に向上させる実用的で原則的な方法を提示します。
