본 논문은 대규모 언어 모델(LLM)의 추론 능력을 효과적으로 향상시키는 강화 학습(RL) 과제 설계 문제를 해결하기 위해 SAT 기반 RL 프레임워크인 Saturn을 제안한다. 기존 RL 과제들의 확장성, 검증 가능성, 난이도 제어의 어려움을 해결하고자, Boolean Satisfiability (SAT) 문제를 활용하여 확장 가능한 과제 생성, 규칙 기반 검증, 정밀한 난이도 제어를 가능하게 한다. Saturn은 난이도가 점진적으로 증가하는 SAT 문제를 통해 커리큘럼 학습 파이프라인을 설계하여 LLM의 추론 능력을 향상시키며, 안정적인 학습을 위해 난이도 전환을 제어하는 메커니즘을 제시한다. 2,660개의 다양한 난이도의 SAT 문제로 구성된 Saturn-2.6k 데이터셋을 공개하고, DeepSeek-R1-Distill-Qwen 모델에 적용하여 Saturn-1.5B 및 Saturn-7B 모델을 얻었다. 실험 결과, SAT 문제, 수학 및 프로그래밍 과제에서 기존 최고 성능(SOTA)보다 향상된 결과를 보였다.
