본 논문은 지식 증류(Knowledge Distillation)의 새로운 방법인 Plackett-Luce Distillation (PLD)을 제안합니다. 기존의 로짓 기반 지식 증류는 크로스 엔트로피에 증류 항을 추가하는 방식으로, KL divergence나 상관 기반 손실 함수를 사용하며, 추가된 항의 가중치를 조정하는 과정이 필요했습니다. 반면 PLD는 Plackett-Luce 모델을 기반으로, teacher 모델의 로짓을 "가치" 점수로 해석하여 teacher 모델이 예측한 클래스 순위 전체를 고려하는 가중치 있는 리스트 순위 손실 함수를 사용합니다. PLD는 정답 클래스를 최우선으로, 나머지 클래스는 teacher 모델의 신뢰도 순으로 정렬된 단일 최적 순위를 직접 최적화하며, 가중치가 있는 크로스 엔트로피를 포함하는 볼록하고, 변환 불변적인 대체 함수를 제공합니다. 표준 이미지 분류 벤치마크에서, PLD는 동종 설정에서 DIST (arXiv:2205.10536)보다 평균 0.42%, KD (arXiv:1503.02531)보다 1.04% 향상된 Top-1 정확도를 달성했으며, 이종 설정에서도 각각 0.48%와 1.09% 향상을 보였습니다.
