Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Deep neural networks have an inbuilt Occam's razor

Created by
  • Haebom

作者

Chris Mingard, Henry Rees, Guillermo Valle-P erez, Ard A. Louis

概要

過媒化された深層ニューラルネットワーク(DNN)の驚くべきパフォーマンスは、ネットワーク構造、トレーニングアルゴリズム、およびデータ構造間の相互作用から発生します。この論文では、地図学習のベイズ観点を適用して、これら3つのコンポーネントを分離します。関数の事前確率はネットワークによって決定され、順序システムとカオスシステム間の遷移を利用して変化する。ブール関数分類の場合、データ上の関数の誤差スペクトルを使用して可能性を近似します。事前確率と組み合わせると、これは確率的勾配降下法で訓練されたDNNについて測定された事後確率を正確に予測します。この分析は、構造化データと(Kolmogorov)単純関数に対する固有のオカムの剃毛刃などの帰納的偏向(複雑さによる関数の数の指数関数的増加を相殺するのに十分強力です)がDNNの成功にとって重要な要素であることを明らかにします。

Takeaways、Limitations

Takeaways:過媒化されたDNNの成功の新しい理解を提供します。データの構造とネットワークの固有の偏りが重要な役割を果たすことを示しています。ベイジアンの視点を活用して、DNNの学習プロセスを分析する新しい方法論を提示します。
Limitations:分析はブール関数分類に限定されています。実際の世界の複雑なデータセットの一般化の可能性は限られているかもしれません。事後確率の近似法は、DNNの特定の構造とトレーニングアルゴリズムに依存する可能性があります。
👍