Xiang Fei, Siqi Wang, Shu Wei, Yuxiang Nie, Wei Shi, Hao Feng, Chao Feng, Can Huang
개요
본 논문은 기존 언어 모델 학습이 종결 토큰()에서 학습을 종료하는 한계를 극복하고자, 모델 출력 완료 후의 시퀀스 공간을 활용하는 새로운 학습 프레임워크인 Post-Completion Learning (PCL)을 제안합니다. PCL은 모델이 완료 후에도 자체 평가와 보상 예측을 생성하여 추론 능력과 자기 평가 능력을 향상시키는 동시에, 추론 과정은 완료 시점에서 중단하여 효율성을 유지합니다. 화이트박스 강화학습 기법을 통해 모델이 보상 규칙에 따라 출력 내용을 평가하고, 점수를 보상 함수와 정렬하여 감독하는 방식을 사용하며, 추론 및 평가 능력을 동시에 최적화하는 이중 트랙 SFT와 RL 학습을 혼합하여 다목적 하이브리드 최적화를 달성합니다. 다양한 데이터셋과 모델에 대한 실험 결과는 기존 SFT 및 RL 방법보다 일관된 성능 향상을 보여줍니다.
시사점, 한계점
•
시사점:
◦
기존 언어 모델 학습의 한계를 극복하고 성능을 향상시키는 새로운 학습 프레임워크(PCL) 제시.
