본 논문은 대규모 언어 모델의 추론 능력을 소형 모델로 효과적으로 압축하는 데 중점을 둡니다. 특히, 80억 이하의 파라미터를 가진 소형 모델에서 발생하는 치명적인 망각 현상을 해결하기 위해, 데이터셋 구축 및 미세 조정 방식 측면에서 종합적인 솔루션을 제시합니다. 데이터 측면에서는 다양한 추론 작업을 포함하고, 메타인지적 지식을 통합한 5천 개의 인스턴스로 구성된 데이터셋을 구축하여 소형 모델로의 증류를 용이하게 합니다. 훈련 측면에서는 GDPO(Group Direction Preference Optimization)를 도입하여, 대규모 모델의 지식을 효과적으로 전달하고 과도한 파라미터 변화를 제한합니다.
