Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
Created by
Haebom
저자
Jack Chen, Fazhong Liu, Naruto Liu, Yuhan Luo, Erqu Qin, Harry Zheng, Tian Dong, Haojin Zhu, Yan Meng, Xiao Wang
개요
본 논문은 대규모 언어 모델(LLM)의 수리 추론 및 논리적 문제 해결 능력 향상을 위한 새로운 훈련 프레임워크인 SASR을 제안합니다. 기존의 지도 학습 미세 조정(SFT)과 강화 학습(RL) 방법은 각각 과적합 및 모드 붕괴 문제를 가지는 반면, SASR은 SFT와 RL을 단계적으로 통합하여 이러한 문제를 해결합니다. SFT로 초기 훈련을 진행하여 기본적인 추론 능력을 확립하고, 그레디언트 놈과 원래 분포에 대한 발산을 기반으로 하는 적응적 동적 조정 알고리즘을 사용하여 SFT와 온라인 RL 방법인 GRPO를 원활하게 통합합니다. 훈련 과정을 모니터링하고 순차적으로 조정하여 훈련 방식 간의 원활한 전환을 보장하고, 핵심 추론 능력을 유지하면서 다양한 경로를 탐색합니다. 실험 결과 SASR이 SFT, RL 및 정적 하이브리드 훈련 방법보다 우수한 성능을 보임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
SFT와 RL의 장점을 결합하여 LLM의 추론 능력 향상에 효과적인 새로운 훈련 프레임워크 제시.
◦
적응적 동적 조정 알고리즘을 통해 훈련 과정을 효율적으로 관리하고 과적합 및 모드 붕괴 문제 해결.
