딥 뉴럴 네트워크(DNN)의 계산 복잡성과 메모리 사용량을 줄이기 위해 모델 가지치기가 널리 사용된다. 그러나 전역 비구조적 가지치기는 정확도를 크게 저하시키는 경우가 많아, 성능 회복을 위해 일반적으로 원래 훈련 데이터셋에 대한 미세 조정을 필요로 한다. 헬스케어 또는 금융과 같이 개인 정보 보호에 민감한 도메인에서는 GDPR, HIPAA 등의 규제로 인해 배포 후 원래 훈련 데이터에 대한 접근이 제한되는 경우가 많다. 본 논문은 모델 압축과 데이터 개인 정보 보호 간의 격차를 해소하기 위해 데이터가 없는 지식 증류 프레임워크를 제안한다. Batch Normalization (BN) 통계를 반전시켜 사전 훈련된 교사 모델로부터 개인 정보 보호가 가능한 "꿈" 이미지를 합성하기 위해 DeepInversion을 활용한다. 이러한 합성 이미지는 원래 교사에서 가지치기된 학생 네트워크로 지식을 증류하기 위한 전송 세트로 사용된다. CIFAR-10에 대한 다양한 아키텍처(ResNet, MobileNet, VGG)에서의 실험 결과는 본 방법이 실제 데이터 포인트에 접근하지 않고 가지치기 중에 손실된 정확도를 크게 회복함을 보여준다.
