Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SimpleRL-Zoo: Investigating and Taming Zero Reinforcement Learning for Open Base Models in the Wild

Created by
  • Haebom
Category
Empty

저자

Weihao Zeng, Yuzhen Huang, Qian Liu, Wei Liu, Keqing He, Zejun Ma, Junxian He

개요

본 논문은 다양한 기반 모델(Llama3-8B, Mistral-7B/24B, DeepSeek-Math-7B, Qwen2.5 시리즈 등 10개)에서 제로 RL 훈련을 통해 장쇄 사고(CoT) 추론을 향상시키는 연구를 다룬다. 기존 연구들이 주로 Qwen2.5 모델에 집중한 것과 달리, 다양한 모델을 사용하여 제로 RL 훈련의 일반화 가능성을 검증하고, 포맷 보상 조정 및 질의 난이도 제어 등의 전략을 통해 추론 정확도와 응답 길이를 향상시켰다. 훈련 과정에서 모델 간 상이한 패턴을 관찰하였으며, 특히 소규모 Qwen 계열이 아닌 모델에서 처음으로 'aha moment'(검증 과정)를 확인하였다. 코드, 모델, 분석 도구를 공개하여 후속 연구를 지원한다.

시사점, 한계점

•
시사점:
◦
다양한 기반 모델에서 제로 RL 훈련을 통해 장쇄 사고 추론 성능 향상 가능성을 보여줌.
◦
포맷 보상 조정 및 질의 난이도 제어 등의 전략이 제로 RL 훈련 성공에 중요한 역할을 함을 제시.
◦
모델 크기와 장쇄 사고 추론 능력 간의 관계에 대한 새로운 통찰력 제공 (소규모 모델에서도 'aha moment' 관찰).
◦
코드, 모델, 분석 도구 공개를 통해 후속 연구 활성화에 기여.
•
한계점:
◦
모델 간 훈련 역학의 차이에 대한 심층적인 분석이 부족.
◦
'aha moment'의 발생과 응답 길이 증가 간의 상관관계가 일관적이지 않음.
◦
사용된 기반 모델의 다양성에도 불구하고, 특정 모델 계열에 대한 편향 가능성 존재.
👍
Made with Slashpage