본 논문은 대규모 사전 훈련 네트워크의 한계점인 i.i.d. 가정에 대한 의존성을 극복하고, 지속적인 학습 환경에 적응하는 효율적인 방법을 제시하는 데 초점을 맞춘다. 특히, 지속적 학습(CL)과 매개변수 효율적 미세 조정(PEFT)의 시너지를 강조하며, 매개변수 효율적 지속적 미세 조정(PECFT)에 대한 최신 연구 동향을 조사하고 다양한 접근 방식, 평가 지표, 그리고 미래 연구 방향을 탐구한다. 기존의 PEFT 방법들이 겪는 catastrophic forgetting 문제를 해결하고, 대규모 모델을 다양한 작업에 지속적으로 적응시키는 방법을 제시하는 것이 목표이다.
