본 논문은 딥 컨티뉴얼 러닝에서 딥 뉴럴 네트워크가 파라미터를 재초기화하지 않고 새로운 작업을 학습하는 데 실패하는 이유, 즉 가소성 손실에 대해 연구한다. 연구 결과, 이러한 실패는 새로운 작업 초기화 시 Hessian 스펙트럼 붕괴가 선행됨을 밝혀냈다. 이는 의미 있는 곡률 방향이 사라지고 경사 하강이 비효율적이 되는 현상이다. 성공적인 학습의 필요 조건을 특징짓기 위해 $\tau$-trainability 개념을 도입하고, 현재의 가소성 보존 알고리즘을 이 프레임워크 내에서 통합할 수 있음을 보여준다. Hessian의 Kronecker 분해 근사를 통해 스펙트럼 붕괴를 직접적으로 목표로 하여, 높은 유효 특징 랭크 유지 및 L2 페널티 적용의 두 가지 정규화 향상을 제시한다. 지속적인 지도 학습 및 강화 학습 작업에 대한 실험을 통해 두 정규화 방법을 결합하면 가소성을 효과적으로 보존할 수 있음을 확인했다.
시사점, 한계점
•
시사점:
◦
딥 컨티뉴얼 러닝의 가소성 손실 문제에 대한 새로운 이해를 제시: Hessian 스펙트럼 붕괴가 주요 원인.
◦
$\tau$-trainability 개념을 통해 가소성 보존 알고리즘을 통합하는 프레임워크 제공.
◦
Hessian 기반 정규화를 통해 가소성 보존을 위한 실질적인 방법론 제안: 높은 유효 특징 랭크 유지 및 L2 페널티.
