사전 훈련된 모델에서 처음부터 다시 훈련하지 않고 유해한 지식을 선택적으로 제거하는 기계 언러닝은 대규모 언어 모델(LLM)에서 개인 정보 보호, 규제 준수 및 윤리적 문제 해결에 중요합니다. 기존 언러닝 방법은 유해한 지식을 완전히 제거하는 데 어려움을 겪어 쉽게 복구될 수 있는 잔류 유해 지식을 남기는 경우가 많습니다. 이러한 한계를 해결하기 위해 본 논문에서는 먼저 유해한 지식이 풍부한 레이어를 식별한 다음 재삽입 전략을 통해 유해한 지식을 완전히 제거하는 새로운 접근 방식인 블록 재삽입을 통한 지식 밀도 지향 언러닝(KUnBR)을 제안합니다. 본 방법은 지식 밀도 추정을 도입하여 가장 유해한 지식을 포함하는 레이어를 정량화하고 찾아내어 정확한 언러닝을 가능하게 합니다. 또한, 커버 레이어로 인한 기울기 방해를 우회하고 언러닝 과정에서 효과적인 기울기 전파를 보장하며, 유해 지식이 풍부한 레이어를 추출하여 원래 LLM에 재삽입하는 레이어 재삽입 전략을 설계합니다. 여러 언러닝 및 일반 능력 벤치마크에서 수행된 광범위한 실험을 통해 KUnBR은 모델 유틸리티를 유지하면서 최첨단 망각 성능을 달성함을 입증했습니다.
