본 논문은 언어 모델에서 유해한 지식을 안전하게 제거하는 새로운 기법인 CIR(Collapse of Irrelevant Representations)을 제안한다. 기존의 unlearning 방식이 너무 일반적인 표현을 대상으로 하여 유해 지식을 효과적으로 제거하지 못하는 문제점을 지적하고, PCA 기반의 활성화 및 모듈 출력 그래디언트를 분석하여 공통 표현이 포함된 서브 공간을 식별하고 붕괴시키는 방식으로 일반적인 성능 저하를 최소화하면서 유해 지식을 제거하는 방법을 제시한다. Llama-3.1-8B 모델에 생물학적 및 사이버 위험 관련 지식을 제거하는 실험에서, CIR은 기존 방법보다 30배 이상 높은 공격 후 정확도 감소를 달성했고, 일반적인 성능 저하는 30배 적었으며, 3 GPU-초 미만의 시간만을 사용했다.
