대규모 언어 모델(LLM) 지식 증류에서 기존 연구는 교사 및 학생 모델 모두에 동일한 손실 함수를 적용하는 데 그쳤습니다. DistiLLM-2는 교사와 학생 모델의 응답 확률을 동시에 제어하는 대조적 접근 방식을 제시하여 이러한 한계를 극복합니다. 다양한 작업(지시 따르기, 코드 생성 등)에서 우수한 성능을 보이며, 선호도 정렬 및 비전-언어 확장과 같은 다양한 응용 분야를 지원합니다. 이는 데이터 유형에 걸쳐 교사와 학생 모델을 효과적으로 정렬함으로써 LLM 증류의 효율성을 높이는 대조적 접근 방식의 잠재력을 강조합니다.
시사점, 한계점
•
시사점:
◦
LLM 증류에서 교사-학생 모델 간 데이터 유형에 따른 손실 함수의 시너지 활용의 중요성을 제시.
◦
대조적 접근 방식(DistiLLM-2)을 통해 다양한 작업 및 응용 분야에서 고성능 학생 모델 구축 가능성을 입증.
◦
지시 따르기, 코드 생성, 선호도 정렬, 비전-언어 확장 등 다양한 응용 분야에 적용 가능성 확인.
