본 논문은 대규모 언어 모델의 효율성을 높이기 위한 지식 증류 방법을 제시합니다. 기존의 지식 증류 방법들이 모방 학습 또는 역강화 학습 관점에서 행동 복제로 볼 수 있다는 점에 착안하여, 역강화 학습 기법을 활용한 시간차 학습 방법을 연구합니다. 특히, 언어 모델이 소수의 토큰에 대부분의 확률 질량을 할당하는 분포의 희소성을 이용하여, 축소된 행동 공간(어휘의 부분집합)에서 동작하는 시간차 학습 프레임워크를 제안하고, 실제 알고리즘과 성능 향상을 보여줍니다. 기존의 다양한 시간차 학습 방법들을 제안하는 대신, 일반적인 시간차 학습 기반 증류 프레임워크를 제시하는 것이 특징입니다.
