Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Discover, Learn, and Reinforce: Scaling Vision-Language-Action Pretraining with Diverse RL-Generated Trajectories

Created by
  • Haebom
Category
Empty

저자

Rushuai Yang, Zhiyuan Feng, Tianxiang Zhang, Kaixin Wang, Chuheng Zhang, Li Zhao, Xiu Su, Yi Chen, Jiang Bian

개요

비전-언어-행동 (VLA) 모델 사전 학습을 위한 대규모 데이터 확보의 어려움을 해결하기 위해, 강화 학습 (RL)을 활용하여 다양한 동작 패턴을 생성하는 'Discover, Learn and Reinforce (DLR)' 프레임워크를 제안합니다. DLR은 정보 이론 기반의 패턴 발견 방식을 통해 단일 패턴으로 수렴하는 기존 RL의 한계를 극복하고, 여러 개의 고성공 동작 전략을 학습하여 VLA 사전 학습에 활용할 수 있는 다양한 데이터를 생성합니다. 실험 결과, DLR은 표준 RL보다 훨씬 더 다양한 궤적을 생성하며, 이를 통해 사전 학습된 VLA 모델은 새로운 다운스트림 작업에서 더 우수한 성능을 보입니다. 또한, DLR은 데이터 규모에 따라 성능이 향상되는 긍정적인 데이터 스케일링 특성을 보입니다.

시사점, 한계점

•
시사점:
◦
다양한 동작 패턴을 생성하여 VLA 모델 사전 학습에 필요한 데이터의 다양성을 확보.
◦
단일 패턴에 수렴하는 기존 RL의 한계를 극복하고, 여러 개의 고성공 전략 학습.
◦
새로운 작업에 대한 VLA 모델의 성능 향상.
◦
데이터 규모에 따른 성능 향상 (긍정적 데이터 스케일링).
◦
자율적인 데이터 생성으로 인건비 절감 및 데이터 확보의 용이성 증대.
•
한계점:
◦
논문에 구체적인 한계점에 대한 언급은 없음.
👍
Made with Slashpage