본 논문은 대규모 언어 모델(LLM)의 기계적 언러닝(machine unlearning)에 대한 여러 문제점을 논의하고, 개선된 접근법을 제시한다. LLM이 민감하거나 저작권이 있는 콘텐츠를 기억하는 문제로 인해 개인정보보호 및 법적 문제가 발생할 수 있기 때문에, 전체 성능을 유지하면서 특정 콘텐츠를 제거하는 기계적 언러닝이 주목받고 있다. 기존 기계적 언러닝의 부적절한 평가 문제를 해결하기 위해 토큰 다양성, 문장 의미, 사실적 정확성을 평가하는 세 가지 추가 지표를 제안한다. 또한, 언러닝 방법을 타겟되지 않은(untargeted) 방법과 타겟된(targeted) 방법으로 분류하고 각각의 문제점(예: 타겟되지 않은 언러닝의 예측 불가능한 행동, 타겟된 언러닝의 불충분한 정규화)을 논의한다. 이러한 문제를 완화하기 위해, 타겟되지 않은 언러닝에는 엔트로피 극대화(ME) 목표를, 타겟된 언러닝에는 답변 보존(AP) 손실을 정규화로 사용하는 것을 제안한다. 허구적 언러닝, 지속적 언러닝, 실제 언러닝 세 가지 시나리오에 대한 실험 결과를 통해 제안된 접근 방식의 효과를 보여준다.
