본 논문은 비정상적인 환경에서 신경망의 학습 어려움과 급격한 망각(Catastrophic Forgetting, CF)에 대한 이해 부족을 다룹니다. 모델 규모와 특징 학습 정도가 지속 학습에 미치는 영향에 대한 체계적인 연구를 수행하여, 아키텍처의 변수 매개변수화를 통해 지연 학습(lazy) 및 풍부한 학습(rich) 방식을 구분함으로써 기존 연구의 상반된 관찰 결과들을 조정합니다. 모델 너비 증가는 특징 학습량을 줄여 지연 학습을 증가시킬 때에만 유익함을 보여줍니다. 동적 평균장 이론(dynamical mean field theory) 프레임워크를 사용하여 특징 학습 영역에서 모델의 무한 너비 역학을 연구하고, 지연 학습 영역에 국한된 이전의 이론적 결과를 확장하여 CF를 특징짓습니다. 특징 학습, 작업 비정상성, 망각 간의 복잡한 관계를 연구하여 높은 특징 학습은 유사한 작업에서만 유익함을 발견합니다. 모델이 낮은 망각으로 효과적으로 지연 학습 영역을 벗어나 상당한 망각이 있는 풍부한 학습 영역으로 진입하는 작업 유사성에 의해 조절되는 전이를 확인합니다. 마지막으로, 신경망은 작업 비정상성에 따라 달라지는 최적의 특징 학습 수준에서 최적의 성능을 달성하며, 이는 모델 규모에 걸쳐 전이됨을 밝힙니다. 이 연구는 지속 학습에서 규모와 특징 학습의 역할에 대한 통합적인 관점을 제공합니다.
