LLM(대규모 언어 모델)의 기존 unlearning(정보 삭제) 방법은 삭제하려는 정보를 fine-tuning 데이터에 포함시켜 모델을 최적화하는 방식으로, 민감한 데이터 노출 위험과 최소 사용 원칙에 위배된다고 지적한다. 이를 해결하기 위해, 본 논문은 unlearning 목표를 unlearning objective에 포함하지 않는 새로운 방법인 PMC(Partial Model Collapse)를 제안한다. PMC는 생성 모델을 자체 생성물로 훈련하면 분포가 붕괴되어 정보가 제거되는 현상(모델 붕괴)을 활용한다. PMC는 제거하려는 데이터에 대해 의도적으로 모델 붕괴를 유발하여 machine unlearning을 수행한다. 이론적으로 PMC가 원하는 결과를 수렴함을 보이고, 기존 unlearning 방법의 세 가지 주요 한계를 극복하며, 일반적인 모델 유틸리티를 유지하면서 모델 출력에서 개인 정보를 보다 효과적으로 제거함을 실험적으로 입증한다.
