Cet article démontre que les réseaux de neurones à propagation directe utilisant la fonction d'activation ReLU se généralisent bien à des données de faible complexité bien définies. Étant donné des données iid générées dans un langage de programmation simple, un réseau de neurones à propagation directe à longueur de description minimale (MDL) interpolant les données se généralise bien. Dans cet article, nous définissons ce langage de programmation simple et le concept de longueur de description pour un tel réseau de neurones, et fournissons plusieurs exemples de tâches de calcul de base telles que la détection de primalité. Dans le cas de la détection de primalité, le résultat suivant est théoriquement démontré. Considérons un échantillon iid de n nombres tirés uniformément au hasard de 1 à N. Pour chaque nombre xi, si xi est premier, yi = 1, sinon yi = 0. Ensuite, un réseau MDL interpolant répond correctement à la question de savoir si un nombre nouvellement tiré entre 1 et N est premier ou non, avec une probabilité d'erreur de 1 - O( (ln N) / n ). Bien que le réseau ne soit pas conçu pour détecter les nombres premiers, un réseau qui détecte les nombres premiers est découvert grâce à l'apprentissage par longueur de description minimale. Les extensions aux données bruyantes sont également discutées, suggérant que l'interpolateur de réseau neuronal MDL peut présenter un surajustement modéré.
