본 논문은 지속 학습(Continual Learning, CL)에서 특히 예제 없는 지속 학습(Exemplar-free Continual Learning, EFCL) 환경에서 발생하는 catastrophic forgetting 문제를 해결하기 위해, 특징 변화(feature drift)에 강인한 새로운 방법을 제시합니다. 기존 EFCL 방법들이 과거 task의 정적 특징이나 구식 통계량에 의존하여 시간이 지남에 따라 성능 저하를 겪는 문제점을 지적하며, 명시적인 특징 모델링이나 과거 task 데이터 저장 없이 특징 변화를 효과적으로 처리하는 Drift-Resistant Space (DRS)를 제안합니다. 이는 Low-Rank Adaptation Subtraction (LoRA-)이라는 매개변수 효율적인 미세 조정 기법을 통해 구현되며, 기존 task의 LoRA 가중치를 사전 훈련된 가중치에서 빼서 새로운 task 데이터를 처리함으로써 DRS를 구축합니다. LoRA-는 모델의 안정성을 높이고 효율성을 개선하며 구현을 단순화합니다. 또한, 특징 변화의 안정화를 통해 triplet loss를 이용한 학습으로 더 나은 가소성(plasticity)을 달성합니다. 실험 결과, 여러 데이터셋에서 특히 긴 task 시퀀스에 대해 최첨단 성능을 달성함을 보여줍니다.
