본 논문은 제한된 데이터로 언어 모델(LM)을 미세 조정할 때 발생하는 과적합 문제를 해결하기 위해 "Learning-from-the-Undesirable (LfU)"라는 간단하면서 효과적인 정규화 기법을 제안합니다. LfU는 "바람직하지 않은" 모델 업데이트에 대한 복원력을 갖는 솔루션을 선호하도록 미세 조정 과정을 정규화합니다. 이를 위해, LfU는 내부 표현을 바람직하지 않은 업데이트 후의 표현과 직접 정렬하는 새로운 형태의 일관성 정규화를 제안합니다. LfU는 표현 수준의 데이터 증강을 활용하여 제한된 데이터 환경에서 일반화를 촉진합니다. 다양한 LM 다운스트림 작업에 대한 실험 결과, LfU는 사전 학습된 지식을 보존하면서 적응력을 향상시키는 효과적인 사전 지식 역할을 합니다.
