본 논문은 방대한 데이터셋으로 학습된 대규모 언어 모델(LLM)이 민감하거나 저작권이 있는, 혹은 유해한 콘텐츠를 기억하는 문제를 해결하기 위해 OBLIVIATE라는 강력한 언러닝 프레임워크를 제안한다. OBLIVIATE는 타겟 토큰 추출, 유지 데이터셋 구축, 그리고 마스킹, 지식 증류, 세계 지식 세 가지 구성 요소로 이루어진 맞춤 손실 함수를 사용한 미세 조정이라는 구조적 프로세스를 따른다. 저랭크 어댑터(LoRA)를 사용하여 효율성을 유지하면서 언러닝 품질을 저해하지 않는다. 해리포터 시리즈, WMDP, TOFU 등 여러 데이터셋을 사용하여 새로운 문서 수준 기억 점수를 포함한 망각 품질, 모델 유용성, 유창성 등의 종합적인 지표로 실험을 수행했으며, 멤버십 추론 공격에 대한 저항성, 유지 데이터에 대한 영향 최소화, 다양한 시나리오에서의 강력한 성능을 보여주었다.
