SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting

작성자

Haebom

카테고리

Empty

저자

Binbin Zheng, Xing Ma, Yiheng Liang, Jingqing Ruan, Xiaoliang Fu, Kepeng Lin, Benchang Zhu, Ke Zeng, Xunliang Cai

💡 개요

기존의 온-폴리시 강화학습(RL)은 언어 모델의 추론 정렬에 효과적이지만, 토큰 수준의 크레딧 할당이 어렵다는 단점이 있습니다. 제안된 SCOPE는 이러한 문제를 해결하기 위해 롤아웃의 정확도에 따라 두 가지 경로로 감독 신호를 분기하는 이중 경로 적응형 가중치 부여 프레임워크를 도입합니다. 이를 통해 잘못된 궤적에는 교정 능력이 높은 경우를 우선시하고, 올바른 궤적에는 낮은 확신도를 가진 샘플에 집중하여 성능을 향상시킵니다.

🔑 시사점 및 한계

•

롤아웃의 정확도에 따라 감독 신호를 차별화하여 온-폴리시 강화학습의 효율성을 높일 수 있습니다.

•

교정 능력이 높은 샘플에 집중하고 낮은 확신도를 가진 샘플을 활용함으로써 모델의 학습 효율성과 성능을 개선합니다.

•

다양한 프롬프트의 난이도 변화를 고려한 그룹 레벨 정규화를 통해 가중치 분포를 효과적으로 조정합니다.

•

SCOPE의 전반적인 성능 개선에 대한 추가적인 분석과 다양한 LLM 아키텍처에 대한 일반화 가능성을 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage