본 논문은 지속적 학습을 위한 강력한 방법으로 떠오른 직교 경사 하강법(OGD)의 유클리드 투영이 문제의 기저 정보 기하 구조를 활용하지 못하여 학습 과제에서 최적이 아닌 수렴으로 이어질 수 있다는 점을 지적합니다. 이를 해결하기 위해, 자연 경사를 OGD에 통합한 **ONG(직교 자연 경사 하강법)**을 제안합니다. ONG는 역 피셔 정보 행렬의 효율적인 EKFAC 근사치를 사용하여 각 새로운 과제별 경사를 전처리하여 리만 메트릭 하에서 최급강하 방향을 따르는 업데이트를 생성합니다. 이전에 학습된 과제의 성능을 유지하기 위해, ONG는 이러한 자연 경사를 이전 과제의 경사의 직교 여공간에 투영합니다. 본 논문에서는 이 절차에 대한 초기 이론적 근거를 제시하고, ONG 알고리즘을 소개하며, Permuted 및 Rotated MNIST 벤치마크에 대한 예비 결과를 제시합니다. 하지만 예비 결과는 자연 경사와 직교 투영의 단순한 결합이 잠재적인 문제를 가질 수 있음을 나타냅니다. 이러한 발견은 이러한 기하학적 관점을 견고하게 조정하여 지속적 학습 방법을 개발하고, 공식적인 수렴 보장을 갖춘 보다 엄격한 이론적 기반을 구축하고, 대규모 지속적 학습 벤치마크로 경험적 검증을 확장하는 데 중점을 둔 지속적인 후속 연구를 촉구합니다.
