본 논문은 사전 훈련된 모델을 특정 작업에 미세 조정할 때 발생하는 catastrophic forgetting 문제를 해결하기 위해, 사전 훈련된 모델의 손실에 기반한 샘플 가중치 부여 방식을 제안합니다. 기존 방법들이 주로 파라미터나 기울기 공간에서 동작하는 것과 달리, 본 논문의 방법은 샘플 공간에 집중하여 사전 훈련된 모델의 손실이 낮은 쉬운 샘플의 가중치를 높이고, 그 반대의 경우 낮추어 사전 훈련된 모델로부터의 편차를 제한합니다. 선형 설정에서 이 방법의 영향을 이론적으로 분석하여 특정 하위 공간에서 학습을 멈추게 함으로써 목표 작업에 대한 과적합을 억제함을 보입니다. 언어 및 비전 작업 모두에서 실험적으로 효과를 입증하며, 예를 들어 Gemma 2 2B를 MetaMathQA에 미세 조정할 때, 기존 방법보다 GSM8K 정확도 저하를 0.8%로 줄이고, 사전 훈련 데이터셋의 정확도를 5.4% 더 유지하는 결과를 보였습니다.
