본 논문은 지식 증류(Knowledge Distillation)에서 기존의 Kullback-Leibler (KL) divergence 최소화 방식의 한계를 극복하기 위해 새로운 목적 함수를 제안합니다. KL divergence 방식은 teacher 모델의 내부 표현 구조를 제대로 반영하지 못하는 반면, 최근의 contrastive learning 방식은 유사한 샘플들까지 과도하게 분리시키는 문제가 있습니다. 본 논문에서는 teacher와 student 분포에 각각 다른 온도 매개변수를 사용하여, student 출력을 더 날카롭게 만들고 주요 관계는 정확하게 학습하면서 부차적인 유사성은 유지하는 방법을 제시합니다. 이 방법은 InfoNCE loss와 KL divergence와의 이론적 연관성을 가지며, 다양한 지식 전달 작업에서 기존 방법보다 우수한 성능을 보이며, teacher 모델과의 정렬을 개선하고 심지어 teacher 네트워크의 성능을 능가하는 경우도 있습니다.
