본 논문은 순차적인 과제들에 대해 사전 훈련된 모델을 지속적으로 적응시키는 방법, 특히 예측 클래스 레이블과 도메인이 다른 경우에도 다양한 과제에 걸쳐 일반화 가능한 모델을 학습하는 방법에 대한 오랜 과제를 다룹니다. 기존의 지속적 학습(Continual Learning, CL) 방법들은 LoRA 어댑터나 프롬프트와 같은 추가적인 학습 구조를 점진적으로 저장하거나, 심지어 이전 샘플의 특징을 보존하여 성능을 유지하는 경우가 많습니다. 하지만 이는 과제 수가 증가함에 따라 지속 불가능한 매개변수 증가 및 저장 비용 증가로 이어집니다. 또한, 기존의 접근 방식은 과제 유사성 인식이 부족하여 이전에 습득한 지식을 방해하지 않고 새로운 과제에 효과적으로 적응하는 모델의 능력을 더욱 저해합니다. 본 논문에서는 이러한 문제를 해결하기 위해 동적 계급 선택기(DRS)와 동적 메타 프롬프팅(DMP)을 통합한 새로운 효율적인 저계급 적응 방법인 FM-LoRA를 제안합니다. 이 프레임워크는 지식 보존에 중요한 공유 저계급 부분 공간을 활용하여 과제 간에 모델 용량을 보다 효과적으로 할당함으로써 지속적인 매개변수 확장을 방지합니다. ImageNet-R, CIFAR100, CUB200을 사용한 클래스 증분 학습(CIL)과 DomainNet을 사용한 도메인 증분 학습(DIL)을 포함한 다양한 CL 벤치마크에서 Transformer 백본을 사용한 광범위한 실험을 통해 FM-LoRA가 파괴적인 망각을 효과적으로 완화하는 동시에 다양한 과제 및 도메인에서 견고한 성능을 제공함을 보여줍니다.
