본 논문은 지식 증류(KD) 기법을 사용하여, 매개변수가 많은 교사 모델의 지식을 경량 학생 모델로 이전하는 방법을 제시한다. 특히, 기존 로짓 기반 손실 함수를 사용하지 않고 특징 기반 손실 함수만을 활용하는 새로운 KD 프레임워크를 제안한다. 잠재 표현의 기하학적 특성에 대한 최근 연구를 바탕으로, 지식 증류에 가장 효과적인 교사 레이어를 식별하기 위한 지식 품질 메트릭을 도입한다. 다양한 학생-교사 쌍 및 이미지 분류 데이터셋에 대한 실험을 통해, 제안된 KD 방법이 기존 방식보다 최대 15%의 top-1 정확도 향상을 보이며, 최첨단 성능을 달성함을 입증한다.
