본 논문은 기존 연속 학습(Continual Learning, CL) 방법들의 치명적인 망각 문제를 해결하기 위해 모델 병합 기법을 통합한 새로운 연속 학습 프레임워크인 Perturb-and-Merge (P&M)를 제안합니다. P&M은 각 과제 학습 후 이전 모델과 새롭게 학습된 과제 특화 모델의 볼록 조합으로 새로운 모델을 구성합니다. 이때, 이전 과제들의 손실 증가를 최소화하는 최적의 병합 계수를 이론적 분석을 통해 도출합니다. 더 나아가, 병합 과정에서 발생하는 성능 저하를 완화하기 위해, 과제 벡터와 손실 함수의 헤시안 행렬로 구성된 정규화 항을 추가하고, 이를 효율적으로 근사하는 확률적 섭동 전략을 제안합니다. 마지막으로, 메모리 오버헤드를 줄이기 위해 매개변수 효율적인 미세 조정 방법인 LoRA와 P&M을 결합합니다. 제안된 방법은 여러 연속 학습 벤치마크 데이터셋에서 최첨단 성능을 달성합니다.
