Xiaoyin Chen, Jiarui Lu, Minsu Kim, Dinghuai Zhang, Jian Tang, Alexandre Piche, Nicolas Gontier, Yoshua Bengio, Ehsan Kamalloo
개요
본 논문은 강화학습(RL)을 이용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 연구에 대해 다룹니다. 기존의 무작위 또는 수동으로 설계된 교육 과정의 한계를 극복하기 위해, 자가 진화형 교육 과정(SEC)이라는 새로운 자동 교육 과정 학습 방법을 제안합니다. SEC는 교육 과정 선택을 비정상적 다중 팔 밴딧 문제로 공식화하고, 정책 경사 방법의 절대적 이점을 즉각적인 학습 이득의 척도로 사용하여 교육 과정 정책을 학습합니다. 계획, 귀납적 추론, 수학 세 가지 추론 영역에서의 실험을 통해 SEC가 모델의 추론 능력을 향상시키고, 어려운 분포 외 문제에 대한 일반화 성능을 개선하며, 다중 추론 영역 동시 학습 시에도 기술 균형을 향상시킴을 보여줍니다.
시사점, 한계점
•
시사점:
◦
자가 진화형 교육 과정(SEC)은 LLM의 강화학습 미세 조정을 위한 효과적인 자동 교육 과정 학습 방법임을 제시합니다.
◦
SEC는 다양한 추론 영역에서 모델의 일반화 성능과 기술 균형을 향상시킵니다.
◦
RL 기반 LLM 미세 조정에서 교육 과정 설계의 중요성을 강조합니다.
•
한계점:
◦
SEC의 성능은 사용된 보상 신호(절대적 이점)의 적절성에 의존적일 수 있습니다. 다른 보상 신호를 사용했을 때의 성능 변화에 대한 분석이 부족합니다.
◦
다양한 문제 유형 및 난이도에 대한 SEC의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
계산 비용에 대한 분석이 부족합니다. 온라인 필터링 방법에 비해 얼마나 효율적인지 명확하지 않습니다.
