본 논문은 기존 지식 증류(KD) 방법론이 주로 유사한 아키텍처(예: CNN)의 교사-학생 쌍에 초점을 맞춘 것과 달리, 다양한 아키텍처(CNN, ViT, MLP 등) 간의 지식 전달을 가능하게 하는 Cross-Architecture KD (CAKD)를 제안합니다. CAKD의 주요 과제는 이질적인 모델 간의 상당한 특징 차이를 해결하는 것입니다. 이를 위해, 본 논문에서는 교사와 학생 간의 원활한 특징 지식 전달을 돕는 중간 모델(assistant model)을 도입합니다. 이 중간 모델은 교사와 학생의 합성곱 및 어텐션 모듈을 결합하여 이질적인 아키텍처의 장점을 통합합니다. 또한, 이질적인 특징은 공간 분포가 다양하여 기존의 MSE 손실 함수의 효율성이 떨어지는 것을 고려하여, 공간 무관 InfoNCE 손실 함수와 공간 평활화를 활용하여 특징 정렬을 개선합니다. CIFAR-100 및 ImageNet-1K 데이터셋에서 최대 11.47% 및 3.67%의 성능 향상을 달성하며 최첨단 성능을 보였습니다.
