본 논문은 지속적인 학습 환경에서 발생하는 치명적인 망각 문제를 해결하기 위해 메모리 효율적인 방법을 제시합니다. 기존의 직교 기울기 하강법(OGD)은 이전 데이터 포인트의 기울기를 저장하여 과거 성능을 유지하려 하지만, 메모리 사용량이 시간에 따라 증가하는 한계가 있습니다. 이를 해결하기 위해 본 논문에서는 온라인 스케치 알고리즘을 활용한 SketchOGD를 제안합니다. SketchOGD는 모델 기울기를 고정된 크기의 행렬로 압축하여 메모리 사용량을 줄이며, 총 학습 작업 수를 미리 알 필요 없이 온라인으로 작동하고 구현이 간편하며 분석이 용이하다는 장점을 가지고 있습니다. 새로운 지표를 사용하여 스케치의 근사 오류에 대한 이론적 보장을 제공하며, 실험 결과 기존 OGD 변형 알고리즘보다 우수한 성능을 보임을 확인했습니다.
