본 논문은 규칙 기반 보상을 사용하는 단순 강화 학습(RL) 프레임워크를 통해 장거리 사고 연쇄(CoT) 추론이 자연스럽게 나타날 수 있음을 보여준 DeepSeek-R1의 제로 RL 학습 방식을 다양한 기반 모델에 적용한 연구입니다. 기존 연구가 주로 Qwen2.5 모델에 집중한 것과 달리, LLaMa3-8B, Mistral-7B/24B, DeepSeek-Math-7B, Qwen2.5-math-7B 등 10개의 다양한 기반 모델을 사용하여 제로 RL 학습을 수행했습니다. 형식 보상 조정 및 질의 난이도 제어 등의 전략을 통해 대부분의 설정에서 추론 정확도와 응답 길이를 크게 향상시켰습니다. 하지만, 학습 역동성 모니터링을 통해 서로 다른 기반 모델이 고유한 학습 패턴을 보임을 확인했습니다. 예를 들어, 응답 길이 증가가 항상 검증과 같은 특정 인지 행동의 출현과 상관관계가 있는 것은 아니었습니다. 특히, Qwen 계열이 아닌 소규모 모델에서 처음으로 "aha moment"를 관찰했습니다. 성공적인 제로 RL 학습을 가능하게 하는 핵심 설계와 연구 결과, 그리고 실무 경험을 공유하며, 코드, 모델, 분석 도구를 오픈소스로 공개합니다.
