Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning

Created by
  • Haebom

저자

Haozhan Li, Yuxin Zuo, Jiale Yu, Yuhao Zhang, Zhaohui Yang, Kaiyan Zhang, Xuekai Zhu, Yuchen Zhang, Tianxing Chen, Ganqu Cui, Dehui Wang, Dingxiang Luo, Yuchen Fan, Youbang Sun, Jia Zeng, Jiangmiao Pang, Shanghang Zhang, Yu Wang, Yao Mu, Bowen Zhou, Ning Ding

개요

본 논문은 Vision-Language-Action (VLA) 모델의 장기적 단계별 행동 계획을 강화 학습(RL)을 통해 향상시키는 SimpleVLA-RL 프레임워크를 제안합니다. 기존 VLA 모델의 대규모 SFT(supervised fine-tuning)에 대한 의존성과 분포 이동에 대한 일반화의 어려움을 해결하기 위해, veRL을 기반으로 VLA 특화된 궤적 샘플링, 확장 가능한 병렬화, 다중 환경 렌더링, 최적화된 손실 계산 등을 도입했습니다. OpenVLA-OFT에 적용된 SimpleVLA-RL은 LIBERO에서 최첨단 성능을 달성했으며, 탐색 강화 전략을 통해 RoboTwin 1.0 & 2.0에서 $\pi_0$를 능가하는 결과를 보였습니다. 더 나아가, RL 훈련 중 기존 훈련 과정에서 보지 못한 패턴을 발견하는 "pushcut"이라는 새로운 현상을 확인했습니다. 이는 대규모 데이터 의존성 감소, 강건한 일반화, 실제 작업에서 SFT를 능가하는 성능을 가능하게 합니다.

시사점, 한계점

•
시사점:
◦
VLA 모델의 장기 계획 능력을 강화학습을 통해 효과적으로 향상시킬 수 있음을 보여줌.
◦
대규모 SFT 데이터에 대한 의존성을 줄이고, 분포 이동에 대한 강건한 일반화 성능을 달성.
◦
실제 로봇 작업에서 SFT 기반 모델을 능가하는 성능을 보임.
◦
RL 훈련 중 새로운 행동 패턴인 "pushcut" 현상을 발견하여 VLA 모델의 잠재력을 더욱 확장.
•
한계점:
◦
SimpleVLA-RL의 성능 향상이 특정 환경(LIBERO, RoboTwin)에 국한될 가능성.
◦
"pushcut" 현상의 일반성 및 원인에 대한 추가적인 연구가 필요.
◦
다양한 로봇 플랫폼 및 작업에 대한 일반화 성능 평가가 추가적으로 필요.
👍
Made with Slashpage