Step-wise Adaptive Integration of Supervised Fine-tuning and Reinforcement Learning for Task-Specific LLMs
Created by
Haebom
저자
Jack Chen, Fazhong Liu, Naruto Liu, Yuhan Luo, Erqu Qin, Harry Zheng, Tian Dong, Haojin Zhu, Yan Meng, Xiao Wang
개요
본 논문은 대규모 언어 모델(LLM)의 수리 추론 및 논리적 문제 해결 능력 향상을 위한 새로운 훈련 프레임워크인 SASR을 제안한다. 기존의 지도 학습 미세 조정(SFT)과 강화 학습(RL)은 각각 과적합 및 모드 붕괴 문제를 가지는 반면, SASR은 SFT와 RL을 단계적으로 적응적으로 통합하여 이러한 문제를 해결한다. SASR은 초기 단계에서 SFT를 사용하여 기본적인 추론 능력을 확립하고, 이후 그래디언트 놈과 원래 분포에 대한 발산을 기반으로 하는 적응적 동적 조정 알고리즘을 사용하여 SFT와 온라인 RL 방법인 GRPO를 원활하게 통합한다. 훈련 과정을 순차적으로 조정함으로써, SASR은 훈련 방식 간의 원활한 전환을 보장하고 핵심 추론 능력을 유지하면서 다양한 경로를 탐색한다. 실험 결과, SASR은 SFT, RL, 그리고 정적 하이브리드 훈련 방법보다 우수한 성능을 보임을 입증한다.
시사점, 한계점
•
시사점:
◦
SFT와 RL의 장점을 결합하여 LLM의 추론 능력 향상에 효과적인 새로운 훈련 프레임워크 제시.
◦
적응적 동적 조정 알고리즘을 통해 훈련 과정을 효율적으로 제어하고 과적합 및 모드 붕괴 문제 해결.
