Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
Created by
Haebom
저자
Jack Chen, Fazhong Liu, Naruto Liu, Yuhan Luo, Erqu Qin, Harry Zheng, Tian Dong, Haojin Zhu, Yan Meng, Xiao Wang
개요
본 논문은 대규모 언어 모델(LLM)의 수리 추론 및 논리적 문제 해결 능력 향상을 위한 새로운 훈련 프레임워크인 SASR을 제안한다. 기존의 지도 학습 미세 조정(SFT)과 강화 학습(RL)은 각각 과적합 및 모드 붕괴 문제를 갖는다. SASR은 SFT와 RL을 통합하는 단계적 적응형 하이브리드 훈련 프레임워크로, 인간의 추론 능력 향상 과정에서 영감을 얻었다. 초기에는 SFT로 기본 추론 능력을 갖추고, 이후 경사도 규범과 원래 분포에 대한 분산을 기반으로 하는 적응적 동적 조정 알고리즘을 사용하여 SFT와 온라인 RL 방법인 GRPO를 원활하게 통합한다. 훈련 상태를 모니터링하고 훈련 과정을 순차적으로 조정하여 훈련 방식 간의 원활한 전환을 보장하고, 핵심 추론 능력을 유지하면서 다양한 경로를 탐색한다. 실험 결과 SASR이 SFT, RL, 그리고 정적 하이브리드 훈련 방법보다 우수한 성능을 보임을 보여준다.
