Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation

작성자

Haebom

카테고리

Empty

저자

Anhao Zhao, Haoran Xin, Yingqi Fan, Junlong Tong, Wenjie Li, Xiaoyu Shen

💡 개요

본 논문은 대규모 언어 모델(LLM) 지식 증류 과정에서 기존 방법론들이 접두사 소스 선택과 토큰 수준 KL 발산 방향이라는 두 가지 독립적인 요소를 암묵적으로 결합하고 있음을 분석합니다. 이러한 결합을 분리함으로써 4가지 새로운 학습 목표를 제시하고, 이를 통해 SFT, DAgger, Offline RL, OPD 등 다양한 접근 방식을 통일된 관점에서 이해하고 확장할 수 있음을 보여줍니다.

🔑 시사점 및 한계

•

KL 방향과 정확도-엔트로피 트레이드오프: KL 발산 방향의 선택이 모델의 정확도와 출력 다양성(엔트로피) 사이의 균형에 영향을 미칩니다.

•

접두사 소스 선택과 품질-컴퓨트 트레이드오프: 데이터 소스(교사 또는 학생 접두사) 선택이 최종 모델의 품질과 학습에 필요한 계산 자원 사이의 절충점을 결정합니다.

•

학습 길이와 정확도-안정성 트레이드오프: 학습 데이터의 길이에 따라 모델의 정확도와 학습 안정성 간의 관계가 달라집니다.

•

엔트로피 붕괴 방지를 위한 KL 혼합 및 길이 커리큘럼: 긴 시퀀스 학습 시 엔트로피 붕괴를 막고 길이 팽창을 방지하며 정확도를 유지하기 위해 KL 혼합 기법과 엔트로피를 이용한 길이 커리큘럼 학습 방법을 제안합니다.

PDF 보기

Made with Slashpage