본 논문은 지식 증류(knowledge distillation) 기법의 효율성을 높이는 새로운 방법을 제시합니다. 기존의 지식 증류는 완전히 훈련된 교사 네트워크의 출력만을 사용하는 반면, 본 논문에서는 교사 네트워크의 훈련 과정 중 중간 지점들을 활용하는 점진적 지식 증류(progressive distillation)의 효율성에 착안하여, 완전히 훈련된 교사 네트워크로부터 훈련 과정(curriculum)을 추출하는 기법을 제안합니다. 이를 위해 교사 네트워크의 은닉 표현에 대한 랜덤 투영을 사용하여 학생 네트워크를 점진적으로 훈련시키고, 이후 완전히 훈련된 네트워크의 출력을 사용하여 훈련을 완료합니다. 실험 결과, 제안된 방법은 단일 단계 지식 증류보다 성능이 우수하며, 점진적 지식 증류와 유사한 성능을 달성함을 보여줍니다. 두 층 네트워크를 이용한 희소 패리티 학습뿐만 아니라, 트랜스포머 기반 아키텍처를 사용한 희소 패리티 학습과 언어 모델링 작업에서도 단일 단계 지식 증류보다 우수한 성능을 보입니다. 또한, 이러한 결과에 대한 이론적 보장도 제시합니다.
