본 논문은 Parameter-efficient fine-tuning for continual learning (PEFT-CL)의 성능을 향상시키기 위해 Neural Tangent Kernel (NTK) 이론을 활용한 분석을 수행합니다. NTK 이론을 통해 지속 학습에서의 성능 저하(test-time forgetting)를 훈련 중 일반화 오차로 재해석하고, 이 오차에 영향을 미치는 세 가지 요인 (훈련 샘플 크기, task-level feature orthogonality, regularization)을 밝힙니다. 이러한 분석 결과를 바탕으로, task-specific parameter 저장 없이 task-relevant feature를 적응적으로 생성하는 새로운 프레임워크인 NTK-CL을 제시합니다. NTK-CL은 샘플의 feature 표현을 세 배로 늘리고, 적응적 지수 이동 평균 메커니즘과 task-level feature orthogonality에 대한 제약을 통해 task 간의 상호 작용을 줄이며, 최적화 가능한 파라미터를 적절한 regularization과 함께 미세 조정하여 기존 PEFT-CL 벤치마크에서 최첨단 성능을 달성합니다.
