본 논문은 축약된 데이터셋의 한계를 극복하기 위해 모델 역전(Model Inversion)을 활용하여 축약된 데이터셋을 확장하는 방법을 제안합니다. 특히, 지식 증류(Knowledge Distillation, KD) 환경에서 사전 훈련된 교사 모델의 정보를 활용하여 축약된 데이터셋을 보완하는 합성 데이터를 생성함으로써 학생 모델의 정확도를 향상시키는 것을 목표로 합니다. 제안된 방법은 축약된 데이터만 사용하는 경우보다 KD 정확도에서 유의미한 향상을 보이며, 다양한 데이터셋과 모델 아키텍처에서 기존 모델 역전 기반 KD 방법보다 최대 11.4% 더 높은 성능을 보였습니다. 또한, 클래스당 축약된 샘플이 1개인 경우에도 효과적이며, 소량의 실제 데이터 샘플만 사용 가능한 few-shot 학습 환경에서도 성능을 향상시킬 수 있습니다.
