본 논문은 지속적 학습(continual learning)에서 파라미터 업데이트가 더 이상 최적화 목표에 진전을 이루지 못하는 현상인 학습 불가능성(loss of trainability)을 분석한다. 기존의 개별 지표(Hessian rank, sharpness level, weight/gradient norm 등)로는 학습 불가능성을 신뢰성 있게 예측할 수 없음을 밝히고, 배치 크기를 고려한 gradient-noise bound와 곡률 변동성을 제어하는 bound를 제안한다. 이를 결합하여 각 레이어의 유효 step-size에 대한 적응형 노이즈 임계값을 설정하고, 이 임계값을 초과하지 않도록 step-size 스케줄러를 제안하여 학습 불가능성을 방지한다. 제안된 스케줄러는 기존 방법(CReLU, Wasserstein regularizer, L2 weight decay)의 정확도를 향상시키며, 수동으로 설계된 step-size 감쇠 스케줄과 유사한 적응형 step-size 궤적을 생성한다.
