본 논문은 제한된 자원 환경에서의 배포를 어렵게 만드는 대규모 인과 언어 모델의 문제점을 해결하기 위해, 지식 증류 기법을 활용한 새로운 방법인 시간 적응형 보간 증류(Temporally Adaptive Interpolated Distillation, TAID)를 제안합니다. TAID는 교사 모델과 학생 모델 간의 용량 차이, 모드 평균화, 모드 붕괴와 같은 문제점들을 해결하기 위해, 학생 모델의 초기 분포에서 교사 모델의 분포로 점진적으로 이동하는 적응적 중간 분포를 통해 학생 및 교사 분포를 동적으로 보간합니다. 이론적 분석과 실험을 통해 TAID가 모드 붕괴를 방지하고 용량 차이를 해결하며 모드 평균화와 모드 붕괴 간의 균형을 맞추는 효과를 보임을 증명합니다. 또한, 다양한 모델 크기와 아키텍처에서 지시 조정 및 사전 훈련 시나리오에서 TAID의 우수한 성능을 보여주는 종합적인 실험 결과를 제시하며, 언어 작업을 위한 TAID-LLM-1.5B와 시각-언어 작업을 위한 TAID-VLM-2B라는 두 개의 최첨단 소형 기초 모델을 개발하여 TAID의 실용적인 효과를 보여줍니다.
