본 논문은 인간의 구조적이고 점진적인 학습 과정에서 영감을 받은 새로운 지식 증류 방법인 교육 증류(Education Distillation, ED)를 제시합니다. ED는 초등학교, 중학교, 대학교의 교육 단계를 모방하여 교수 참조 블록(teaching reference blocks)을 설계합니다. 학생 모델은 주요 부분과 여러 개의 교수 참조 블록으로 나뉘어 단계적으로 교사로부터 학습합니다. 이를 통해 학생 모델의 구조를 유지하면서 효율적인 지식 증류를 촉진합니다. CIFAR100, Tiny Imagenet, Caltech, Food-101 데이터셋에 대한 실험 결과는 교수 참조 블록이 망각 문제를 효과적으로 피할 수 있음을 보여줍니다. 기존의 단일 교사 및 다중 교사 지식 증류 방법과 비교하여 ED는 학생 모델의 정확도와 일반화 능력을 크게 향상시킵니다. 이러한 결과는 ED가 다양한 아키텍처와 데이터셋에서 모델 성능을 향상시킬 수 있는 잠재력을 강조하며, 다양한 심층 학습 시나리오에서의 가치를 나타냅니다. 코드는 https://github.com/Revolutioner1/ED.git 에서 확인할 수 있습니다.
