Xiaoyin Chen, Jiarui Lu, Minsu Kim, Dinghuai Zhang, Jian Tang, Alexandre Piche, Nicolas Gontier, Yoshua Bengio, Ehsan Kamalloo
개요
본 논문은 강화학습(RL)을 이용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 연구에 대해 다룹니다. 특히, 훈련 과정에서 문제 제시 순서를 결정하는 커리큘럼의 중요성에 주목하여, 기존의 무작위 또는 수동 설계 커리큘럼의 한계를 극복하기 위해 자가 진화 커리큘럼(SEC)을 제안합니다. SEC는 각 문제 유형을 멀티암 밴딧 문제의 팔로 간주하고, 정책 경사 방법의 절대적 이점을 즉각적인 학습 이득 척도로 사용하여 커리큘럼 정책을 학습합니다. 계획, 귀납 추론, 수학 세 가지 영역에서의 실험 결과, SEC는 모델의 추론 능력을 향상시키고 다양한 추론 영역에서의 균형 있는 숙련도를 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
자가 진화 커리큘럼(SEC)을 통해 RL 기반 LLM 미세조정의 효율성을 크게 높일 수 있음을 보여줌.
◦
SEC는 다양한 추론 영역에서의 균형있는 숙련도 향상에 효과적임.
◦
수동 설계나 무작위 커리큘럼보다 우수한 성능을 보임.
◦
어려운, 분포 외 문제에 대한 일반화 성능을 향상시킴.
•
한계점:
◦
SEC의 성능은 사용된 보상 신호(절대적 이점)의 정확성에 의존적일 수 있음.
◦
다양한 문제 유형과 난이도에 대한 일반화 성능은 추가적인 연구가 필요함.
◦
TD(0) 방법의 사용으로 인한 학습의 안정성 및 수렴 속도에 대한 추가적인 분석이 필요함.
