SCALER:Synthetic Scalable Adaptive Learning Environment for Reasoning

Created by

Haebom

저자

Caijun Xu, Changyi Xiao, Zhongyuan Peng, Xinrun Wang, Yixin Cao

💡 개요

본 논문은 강화학습(RL)을 활용한 대규모 언어 모델(LLM)의 추론 능력 향상에 있어 학습 신호의 정보성 유지 문제를 해결하기 위해 SCALER라는 새로운 프레임워크를 제안합니다. SCALER는 실제 프로그래밍 문제를 바탕으로 난이도 조절과 무한한 인스턴스 생성이 가능한 검증 가능한 추론 환경을 합성하고, 모델 능력에 맞춰 동적으로 인스턴스 난이도와 환경 집합을 조절하는 적응적 다중 환경 RL 전략을 사용합니다. 이를 통해 보상 희소성을 방지하고 특정 문제 패턴에 대한 과적합을 줄여 지속적인 학습 성장을 달성합니다.

🔑 시사점 및 한계

•

기존 데이터셋 기반 RL 학습의 한계를 극복하고, 모델의 능력 곡선에 맞춰 지속적으로 정보를 제공하는 학습 환경을 구축할 수 있습니다.

•

실제 프로그래밍 문제를 바탕으로 난이도를 조절하고 무한한 학습 데이터를 생성함으로써, LLM의 추론 능력을 효과적으로 향상시키고 과적합을 완화할 수 있습니다.

•

제안된 SCALER 프레임워크는 다양한 추론 벤치마크에서 기존 RL 기법 대비 우수한 성능을 보여주며, 장기적인 학습 안정성을 입증했습니다.

•

합성된 환경의 현실성 및 실제 복잡한 추론 문제에서의 일반화 성능에 대한 추가적인 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage