Este artículo destaca que la proyección euclidiana del descenso de gradiente ortogonal (OGD), un método potente para el aprendizaje continuo, no aprovecha la estructura geométrica subyacente del problema, lo que lleva a una convergencia subóptima en tareas de aprendizaje. Para abordar esto, proponemos ONG (Descenso de gradiente natural ortogonal), que integra gradientes naturales en OGD. ONG preprocesa cada nuevo gradiente específico de la tarea utilizando una aproximación EKFAC eficiente de la matriz de información inversa de Fisher, generando actualizaciones que siguen la dirección de descenso más pronunciada bajo la métrica de Riemann. Para mantener el rendimiento en tareas previamente aprendidas, ONG proyecta estos gradientes naturales en el complemento ortogonal de los gradientes de la tarea anterior. Este artículo presenta una base teórica inicial para este procedimiento, introduce el algoritmo ONG y presenta resultados preliminares en los puntos de referencia MNIST permutados y rotados. Sin embargo, los resultados preliminares sugieren que la simple combinación de gradientes naturales y proyecciones ortogonales puede tener problemas potenciales. Estos hallazgos instan a continuar la investigación centrada en el desarrollo de métodos de aprendizaje continuo sólidos que se alineen con esta perspectiva geométrica, construir una base teórica más rigurosa con garantías de convergencia formal y extender la validación empírica a puntos de referencia de aprendizaje continuo a gran escala.
