Le codage prédictif (PC) est une alternative biologiquement plausible à la rétropropagation pour l'entraînement des réseaux neuronaux, mais il rencontre des difficultés avec les architectures plus profondes. Cet article identifie la cause profonde comme un problème inhérent d'atténuation du signal, où les gradients décroissent exponentiellement avec la profondeur, les rendant négligeables sur le plan informatique en raison de contraintes de précision numérique. Pour remédier à cette limitation fondamentale, cet article présente l'optimisation des erreurs (EO), une nouvelle reparamétrisation qui supprime l'atténuation du signal tout en préservant les propriétés théoriques du PC. En optimisant les erreurs de prédiction plutôt que les états, l'EO permet aux signaux d'atteindre simultanément toutes les couches sans atténuation, ce qui entraîne une convergence beaucoup plus rapide que le PC standard. Des expériences sur plusieurs architectures et jeux de données montrent que l'EO égale les performances de la rétropropagation, même dans les modèles plus profonds où le PC conventionnel peine. Outre des améliorations pratiques, ces travaux apportent des éclairages théoriques sur la dynamique du PC et posent les bases de l'extension de l'apprentissage d'inspiration biologique aux architectures plus profondes sur matériel numérique et au-delà.
