본 논문은 언어 모델에서 민감하거나 개인적인 지식을 제거하는 기존 연구들이 지식의 복잡한 상호 연결성을 간과하고, 제거해야 할 관련 지식을 제대로 제거하지 못하거나, 관련이 있지만 다른 맥락의 지식까지 의도치 않게 제거하는 "피상적 언러닝" 현상을 해결하고자 한다. 이를 위해 새로운 벤치마크 FaithUn을 제시하고, 지식 관련 뉴런만을 업데이트하는 새로운 언러닝 방법 KLUE를 제안한다. KLUE는 설명 가능성 기법을 사용하여 지식 뉴런을 식별하고, 선택된 잊혀지지 않은 샘플을 사용하여 해당 뉴런만을 업데이트한다.
