본 논문은 Linformer와 Mamba와 같은 선형 시간 변환기의 대안 모델들이 존재하지만, 특히 비텍스트 영역에서 사전 훈련된 대규모 모델이 부족하다는 문제를 해결하기 위해 제시되었다. 이를 위해 교차 아키텍처 계층별 증류(CALD) 접근 방식을 제안하여 변환기 모델을 선형 시간 대체 모델로 변환하고 목표 작업에 미세 조정하는 방법을 제시한다. 여러 가지 미세 조정 방법을 비교하여 원본 모델의 추론 능력을 최적으로 유지하는 방법을 연구한다. 자연어 처리, 언어 모델링, 음성 처리에 대한 실험 결과를 통해 CALD가 원본 모델의 결과를 효과적으로 복구할 수 있으며, 안내 전략이 결과에 기여함을 보여준다. 결과의 차이에 대한 몇 가지 이유도 제시한다.
