Les performances remarquables des réseaux de neurones profonds (DNN) surparamétrés résultent de l'interaction entre l'architecture du réseau, l'algorithme d'apprentissage et la structure des données. Cet article dissocie ces trois composantes en appliquant une perspective bayésienne à l'apprentissage supervisé. Les probabilités a priori des fonctions sont déterminées par le réseau et varient en exploitant les transitions entre les régimes ordinal et chaotique. Pour la classification des fonctions booléennes, la vraisemblance est approximée à l'aide du spectre d'erreur de la fonction dans les données. Combinée aux probabilités a priori, cette approche prédit avec précision les probabilités a posteriori mesurées pour les DNN entraînés par descente de gradient stochastique. Cette analyse révèle que le biais inductif inhérent, semblable au rasoir d'Occam, en faveur des données structurées et des fonctions simples (de Kolmogorov) (suffisamment puissant pour contrebalancer la croissance exponentielle du nombre de fonctions avec complexité) est un facteur critique du succès des DNN.
