Cet article souligne que la projection euclidienne de la descente de gradient orthogonale (OGD), une méthode puissante pour l'apprentissage continu, ne parvient pas à exploiter la structure géométrique sous-jacente du problème, ce qui conduit à une convergence sous-optimale des tâches d'apprentissage. Pour résoudre ce problème, nous proposons la méthode ONG (Orthogonal Natural Gradient Descent), qui intègre les gradients naturels dans l'OGD. ONG prétraite chaque nouveau gradient spécifique à la tâche à l'aide d'une approximation EKFAC efficace de la matrice d'information inverse de Fisher, générant des mises à jour qui suivent la direction de descente la plus raide sous la métrique riemannienne. Pour maintenir les performances sur les tâches précédemment apprises, ONG projette ces gradients naturels dans le complément orthogonal des gradients de la tâche précédente. Cet article présente une première base théorique pour cette procédure, introduit l'algorithme ONG et présente des résultats préliminaires sur les benchmarks MNIST permutés et pivotés. Cependant, les résultats préliminaires suggèrent que la simple combinaison de gradients naturels et de projections orthogonales peut présenter des problèmes potentiels. Ces résultats encouragent la poursuite des recherches axées sur le développement de méthodes d’apprentissage continu robustes qui s’alignent sur cette perspective géométrique, la construction d’une base théorique plus rigoureuse avec des garanties de convergence formelles et l’extension de la validation empirique aux repères d’apprentissage continu à grande échelle.
