본 논문은 지식 습득 과정에서 시간적 순차성이 중요함을 강조하며, 신경망 학습 중 특징 맵의 진화가 시간적 순차성을 따른다는 점에 착안하여 시간적 지도 지식 증류(TSKD) 기법을 제안합니다. TSKD는 Convolutional Long Short-Term Memory (Conv-LSTM) 네트워크를 이용하여 학습 과정의 다양한 단계에서 공간-시간적 특징을 추출하고, 정적 교사 네트워크 특징이 아닌 동적인 목표를 통해 학생 네트워크를 학습시킵니다. 이를 통해 학생 네트워크 내 기존 지식을 개선하고 현재 학습을 지원하여 성능 향상을 도모합니다. 다양한 네트워크 구조와 이미지 분류 및 객체 탐지와 같은 다양한 작업에 대한 광범위한 실험을 통해 기존 지식 증류 방법보다 효과적임을 검증합니다.
