PACED: Distillation and On-Policy Self-Distillation at the Frontier of Student Competence

Created by

Haebom

저자

Yuanda Xu, Hejian Sang, Zhengze Zhou, Ran He, Zhipeng Wang

💡 개요

기존 대규모 언어 모델(LLM) 증류 방식은 학생 모델의 학습 능력에 상관없이 모든 학습 문제를 동일하게 처리하여 비효율성을 야기합니다. 본 연구는 학생 모델의 문제 해결 성공률에 따라 문제별 학습 가중치를 다르게 부여하는 PACED (Problem-Adaptive Competence-Equipped Distillation) 기법을 제안합니다. 이를 통해 학습 효율성을 최적화하고, 학생 모델의 잠재적 발달 영역에 집중하여 성능을 향상시킵니다.

🔑 시사점 및 한계

•

핵심 시사점 1: 학생 모델의 성취도에 기반한 맞춤형 문제 가중치 부여는 LLM 증류의 효율성을 크게 향상시킬 수 있습니다.

•

핵심 시사점 2: PACED는 별도의 하이퍼파라미터나 아키텍처 변경 없이 간단한 학생 모델 롤아웃만으로 구현 가능하며, 수학 문제 해결 벤치마크에서 기존 기법 대비 상당한 성능 향상을 보여주었습니다.

•

한계점 또는 향후 과제: 제안된 기법의 효과는 주로 수학 문제 해결 영역에서 검증되었으므로, 다른 도메인에서의 일반화 가능성 및 더 넓은 범위의 문제 유형에 대한 적용 연구가 필요합니다.

PDF 보기

Made with Slashpage