알리바바 클라우드에서 Qwen 32B라는 새로운 추론 모델을 발표했습니다. 이 모델은 320억 개의 파라미터를 가지고 있으며, DeepSeekR1과 경쟁할 수 있는 성능을 자랑합니다. 연구 결과, 강화 학습을 통해 수학 및 코딩 성능이 지속적으로 향상될 수 있다는 점이 발견되었습니다. 중형 모델이 대형 MoE 모델과 경쟁할 수 있는 가능성도 확인되었습니다.
와 진짜 중국 미쳤네 Qwen 32B로 딥시크 R1 수준 모델 출시 알리바바 클라우드에 개발한 Qwen에서 새로운 추론 모델 QwQ32B를 발표했습니다 이 모델은 320억 개의 파라미터를 갖고 있으며 첨단 추론 모델인 DeepSeekR1과 경쟁할 만한 성능을 자랑하는데요 딥시크 R1이 671B 이었다는 것을 감안하면 정말 미친듯한 수준입니다 얼마나 최적화를 잘했을지 이번 연구에서는 강화 학습RL의 확장에 대한 여러 가지 결과를 조사하였으며 Qwen2532B를 기반으로 인상적인 성과를 달성했다고 합니다 특히 강화 학습 훈련이 수학 및 코딩 성능을 지속적으로 향상시킬 수 있다는 점을 발견했으며 중형 모델이 대형 MoE 모델과 경쟁할 수 있는 성능을 상시적 확장을 통해 이루어낼 수 있다는 것도 확인했습니다 과연 오픈소스로 공개할지도 궁금해집니다 데모
