본 논문은 안전 튜닝 후에도 위험한 지식과 기술을 보유할 수 있는 언어 모델의 문제점을 해결하기 위해, 되돌릴 수 없는 언러닝(unlearning) 방법을 개발한다. 저자들은 기존 및 새로운 언러닝 기법들을 체계적으로 평가하고, 비가역적인 언러닝에 필수적인 요소들을 파악했다. 특히, 업데이트가 파괴적이지 않도록 언러닝 그래디언트와 보존 그래디언트의 부호가 같은 가중치만 업데이트하는 Disruption Masking 기술을 제안한다. 또한, 언러닝 그래디언트 정규화와 메타 학습의 유용성을 확인하고, 이러한 요소들을 결합한 MUDMAN (Meta-Unlearning with Disruption Masking and Normalization)을 개발하여 위험한 능력의 복구를 효과적으로 방지한다. MUDMAN은 기존 TAR 방법보다 40% 더 우수한 성능을 보이며, 견고한 언러닝 분야에서 새로운 최고 성능을 달성했다.
