본 논문은 대규모 언어 모델(LLM)의 지식 증류를 통해 소규모 모델의 성능을 향상시키는 새로운 방법인 LLKD를 제안합니다. LLM의 높은 계산 비용과 소규모 모델 학습을 위한 레이블 데이터 부족 문제를 해결하기 위해, LLM을 이용하여 의사 레이블을 생성하고, 선별적인 샘플 선택을 통해 효율적인 학습을 달성하는 데 중점을 둡니다. LLKD는 교사 모델(LLM)의 높은 신뢰도와 학생 모델의 높은 정보 필요도를 동시에 고려하여, 효과적인 데이터 활용과 높은 모델 성능을 동시에 달성합니다. 다양한 데이터셋에서의 실험 결과, LLKD는 기존 방법보다 우수한 성능과 데이터 효율성을 보여줍니다.
