Afin de résoudre les problèmes de mémoire et de coûts de calcul élevés qui surviennent lors du réglage fin d'un réseau neuronal pré-entraîné à grande échelle, cet article propose une méthode permettant de ne mettre à jour que certains paramètres lors de ce réglage. L'analyse de corrélation entre gradients et pondérations lors du réglage fin révèle que les gradients importants sont liés à des pondérations de petite taille. Sur cette base, nous proposons l'algorithme NANOADAM, qui met à jour dynamiquement uniquement les pondérations de petite taille. NANOADAM présente l'avantage de sélectionner des paramètres sans calcul de gradient, de préserver les caractéristiques pré-entraînées importantes et de permettre un taux d'apprentissage plus élevé, améliorant ainsi les performances de généralisation. Nous démontrons les améliorations de performances par des expériences sur des tâches de traitement du langage naturel et de vision par ordinateur.
