본 논문은 사전 훈련된 언어 모델에서의 부정적 전이(negative transfer) 문제를 해결하기 위해, 새로운 프레임워크인 Learning With Forgetting (LWF)를 제안합니다. LWF는 Fisher Information Matrix를 활용하여 잊어야 할 지식에 대한 확신도를 계산하고, 높은 확신도를 가진 지식을 주기적으로 제거함으로써 부정적 전이를 완화합니다. 기존의 graceful forgetting 알고리즘을 생성형 언어 모델에 적용하는 어려움을 해결하고, 사전 훈련된 언어 모델에서의 지식 상호 작용 메커니즘을 완전히 밝히는 것은 어렵지만, graceful forgetting을 적용하면 미세 조정 성능을 향상시킬 수 있음을 실험적으로 보여줍니다.
