Blending Supervised and Reinforcement Fine-Tuning with Prefix Sampling

작성자

Haebom

카테고리

Empty

저자

Zeyu Huang, Tianhao Cheng, Zihan Qiu, Zili Wang, Yinghui Xu, Edoardo M. Ponti, Ivan Titov

💡 개요

본 논문은 기존 지도 학습 미세 조정(SFT)과 강화 학습 미세 조정(RFT)의 장단점을 통합하여, 시연 데이터 모방 능력과 탐색을 통한 성능 향상을 모두 달성하는 새로운 하이브리드 접근 방식인 Prefix-RFT를 제안합니다. 수학적 추론 문제에 대한 실험 결과, Prefix-RFT는 단독 SFT 및 RFT뿐만 아니라 병렬 혼합 정책 RFT 방식보다 우수한 성능을 보였습니다. 이는 SFT와 RFT의 보완적인 특성을 효과적으로 결합했음을 보여줍니다.

🔑 시사점 및 한계

•

SFT의 행동 복제 문제와 RFT의 예측 불가능한 행동 학습 문제를 동시에 해결하는 효과적인 하이브리드 학습 방법론을 제시했습니다.

•

수학적 추론 문제에서 기존 단일 학습 방식 및 병렬 혼합 방식 대비 뛰어난 성능을 입증하여, 언어 모델 미세 조정의 새로운 가능성을 보여주었습니다.

•

시연 데이터의 품질 및 양 변화에도 강건한 Prefix-RFT의 효과를 확인하였으나, 다양한 도메인 및 문제 유형에 대한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage