본 논문은 사후 학습 과정에서 모델 크기를 줄이기 위해 지식 증류, 저차원 근사, 가지치기 등의 압축 기법을 미세 조정 후에 순차적으로 적용하는 기존 방식의 한계를 지적합니다. 기존 방식은 성능 저하를 야기하고 불필요하게 큰 중간 모델을 생성하는 문제점이 있습니다. 이를 해결하기 위해, 본 논문에서는 하위 작업(downstream task)의 안내를 받아 작은 모델을 직접 구성하는 방법을 제안합니다. 구체적으로, 가지치기된 저차원 구조로 점진적으로 지식 증류를 수행하여 모델의 미세 조정과 압축을 동시에 진행하는 방법을 제시합니다. 실험 결과, 제안된 방법은 기존의 순차적 압축 방법보다 성능이 훨씬 우수함을 보여줍니다.
