본 논문은 교통 흐름, 연소 역학, 일기 예보와 같은 시공간 예측 작업에 있어서 복잡한 모델의 낮은 훈련 효율성과 높은 메모리 소비 문제를 해결하기 위해 경량화된 프레임워크인 Spectral Decoupled Knowledge Distillation (SDKD)을 제안합니다. SDKD는 복잡한 teacher 모델의 다중 스케일 시공간 표현을 효율적인 lightweight student 네트워크로 전이시킵니다. teacher 모델은 인코더-잠재 진화-디코더 구조를 따르며, 잠재 진화 모듈은 합성곱과 Transformer(전역 저주파 모델러)를 사용하여 고주파 세부 정보와 저주파 추세를 분리합니다. 하지만 다층 합성곱과 역합성곱 구조는 느린 훈련과 높은 메모리 사용량을 야기합니다. 이를 해결하기 위해, 본 논문은 고주파 및 저주파 구성 요소를 모두 포함하는 teacher 모델의 잠재 공간에서 다중 스케일 스펙트럼 특징을 추출하여, 경량 student 모델이 국부적인 미세 변화와 전역적 진화 패턴을 모두 포착하도록 안내하는 주파수 정렬 지식 증류 전략을 제안합니다. 실험 결과, SDKD는 Navier-Stokes 방정식 데이터셋에서 MSE 최대 81.3%, MAE 최대 52.3%의 감소를 달성하여 성능을 크게 향상시켰으며, 고주파 변화와 장기 추세를 효과적으로 포착하면서 계산 복잡도를 줄였음을 보여줍니다. 소스 코드는 https://github.com/itsnotacie/SDKD 에서 확인할 수 있습니다.
