Cet article fournit une analyse empirique de la dynamique du gradient, essentielle à la détermination de la stabilité et de la capacité de généralisation des réseaux de neurones profonds. Nous analysons l'évolution de la variance et de l'écart type des gradients dans les réseaux de neurones convolutifs, qui présentent des changements constants à l'échelle couche par couche et à l'échelle globale. Sur la base de ces observations, nous proposons une méthode de régularisation du gradient sans hyperparamètres qui aligne la mise à l'échelle du gradient sur le processus évolutif naturel. Cette méthode prévient toute amplification involontaire, stabilise l'optimisation et maintient les garanties de convergence. Des expériences sur le difficile benchmark CIFAR-100 utilisant ResNet-20, ResNet-56 et VGG-16-BN démontrent que la méthode maintient, voire améliore, la précision des tests, même en cas de généralisation forte. Outre des améliorations substantielles des performances, cette étude souligne l'importance du suivi direct de la dynamique du gradient pour combler l'écart entre les attentes théoriques et le comportement empirique, et pour fournir des éclairages pour les futures recherches en optimisation.
