본 논문은 비정상적인 데이터 스트림으로부터 학습하는 연속 학습(Continual Learning, CL)에 대해 다룬다. 특히, 사전에 작업이 알려져 있고 데이터를 다시 방문할 수 있는 오프라인 연속 학습(offCL) 설정에서 효율적인 메모리 없는 방법들이 최근 발전했지만, 온라인 연속 학습(onCL)은 여전히 메모리 기반 접근 방식이 주를 이루는 현실을 지적한다. 오프라인 방법들이 작업 경계에 대한 사전 지식과 정교한 스케줄링 또는 최적화 기법에 의존하는 반면, 데이터가 순차적으로 도착하고 한 번만 볼 수 있는 온라인 설정으로의 전환은 어렵다. 본 논문에서는 최첨단 메모리 없는 offCL 방법을 온라인 설정에 적용하는 것을 연구한다. 경량 프로토타입으로 이러한 방법을 보강하면 성능이 크게 향상되지만, 그라디언트 불균형이 증가하여 이전 작업에 대한 학습 편향이 발생한다는 것을 보였다. 이 문제를 해결하기 위해, 본 논문에서는 학습 중 그라디언트 업데이트의 균형을 다시 맞추는 온라인 메커니즘인 미세 입자 초기 그라디언트(Fine-Grained Hypergradients)를 제안한다. 실험 결과, 프로토타입 메모리와 초기 그라디언트 재가중치 부여의 시너지 효과는 onCL에서 메모리 없는 방법의 성능을 크게 향상시키고 onCL 기준 모델을 능가함을 보여준다.
