본 논문은 기존의 대규모 언어 모델(LLM)의 언러닝(unlearning) 방법들이 제거하고자 하는 개인 정보를 훈련 목표에 포함시킴으로써 개인 정보 노출 위험을 증가시키고, 개인 정보 사용 최소화 원칙에 위배된다는 문제점을 지적한다. 이를 해결하기 위해, 언러닝 목표에 언러닝 대상을 포함시키지 않는 새로운 언러닝 방법인 부분 모델 붕괴(Partial Model Collapse, PMC)를 제안한다. PMC는 생성 모델을 생성 결과로 다시 훈련하면 분포 붕괴가 발생하여 모델에서 정보가 제거된다는 점에 착안하여, 민감한 데이터에 대해 부분적으로 붕괴를 유발하여 언러닝을 수행한다. 이론적 분석과 실험을 통해 PMC가 기존 방법의 한계를 극복하고 모델 출력에서 개인 정보를 더 효과적으로 제거함을 보여준다. 이는 실제 세계의 개인 정보 보호 제약 조건에 부합하는 보다 포괄적인 언러닝을 위한 중요한 진전이다.
