본 논문은 지식 증류 기법을 개선하여 소형 학생 네트워크의 성능을 향상시키는 새로운 방법인 MSDCRD를 제안합니다. 기존 방법들이 주로 전역 특징 지식 전달에 집중한 반면, MSDCRD는 다중 스케일 슬라이딩 윈도우 풀링 기법을 사용하여 개별 전역 특징 맵 내의 상호 의존적인 지역 특징들을 다중 스케일로 분리합니다. 샘플 분류와 새로운 대조 손실 함수를 함께 사용하여 효율적인 다중 스케일 특징 분리를 수행하고, 다양한 이종 모델 간의 특징 지식 전달을 가능하게 합니다. 매개변수 없이 플러그 앤 플레이 방식으로 다양한 시각적 과제에 적용 가능하며, 다양한 벤치마크 실험에서 우수한 성능을 보였습니다.
