본 논문은 지식 증류(Knowledge distillation, KD)의 한계를 극복하기 위해 주파수 분해 교차 모달 지식 증류(Frequency-Decoupled Cross-Modal Knowledge Distillation)를 제안한다. 특히 시각-언어 지식 증류와 같은 교차 모달 시나리오에서 서로 다른 모달리티 간의 표현 불일치로 인한 지식 전달의 어려움을 해결하는 데 초점을 맞춘다. 제안하는 방법은 주파수 도메인 특징을 활용하여 모달리티 간의 지식 전달을 분리하고 균형을 맞춘다. 저주파수 특징은 높은 일관성을 보이고 고주파수 특징은 낮은 유사성을 보이는 점에 착안하여, 저주파수 영역에서는 강력한 정렬을, 고주파수 영역에서는 완화된 정렬을 적용한다. 또한 모달리티 간 분포 변화를 해결하기 위한 스케일 일관성 손실과 특징 공간을 통합하기 위한 공유 분류기를 제안한다. 다양한 벤치마크 데이터셋에 대한 실험 결과, 제안하는 방법이 기존 KD 및 최첨단 교차 모달 KD 방법들을 크게 능가하는 성능을 보였다.
