Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DreamGen: Unlocking Generalization in Robot Learning through Neural Trajectories

Created by
  • Haebom

저자

Joel Jang, Seonghyeon Ye, Zongyu Lin, Jiannan Xiang, Johan Bjorck, Yu Fang, Fengyuan Hu, Spencer Huang, Kaushil Kundalia, Yen-Chen Lin, Loic Magne, Ajay Mandlekar, Avnish Narayan, You Liang Tan, Guanzhi Wang, Jing Wang, Qi Wang, Yinzhen Xu, Xiaohui Zeng, Kaiyuan Zheng, Ruijie Zheng, Ming-Yu Liu, Luke Zettlemoyer, Dieter Fox, Jan Kautz, Scott Reed, Yuke Zhu, Linxi Fan

개요

DreamGen은 영상 기반 세계 모델로부터 생성된 합성 로봇 데이터(신경 경로)를 통해 행동과 환경에 걸쳐 일반화되는 로봇 정책을 훈련하기 위한 간단하지만 매우 효과적인 4단계 파이프라인입니다. 최첨단 이미지-영상 생성 모델을 활용하여 다양한 환경에서 익숙하거나 새로운 작업에 대한 사실적인 합성 영상을 생성하며, 잠재 행동 모델 또는 역동역학 모델(IDM)을 사용하여 의사 행동 시퀀스를 복구합니다. 단순함에도 불구하고, DreamGen은 강력한 행동 및 환경 일반화를 가능하게 합니다. 예를 들어, 인간형 로봇은 단일 환경에서 단일 집어 들고 놓기 작업에 대한 원격 조작 데이터만으로 22가지 새로운 행동을 보고된 환경과 보이지 않은 환경 모두에서 수행할 수 있습니다. 파이프라인을 체계적으로 평가하기 위해, 벤치마크 성능과 정책 성공 간의 강력한 상관관계를 보여주는 DreamGen Bench라는 영상 생성 벤치마크를 제시합니다. 본 연구는 수동 데이터 수집을 훨씬 뛰어넘는 로봇 학습 확장을 위한 유망한 새로운 방향을 제시합니다.

시사점, 한계점

•
시사점:
◦
영상 생성 모델을 활용하여 다양한 환경과 행동에 일반화되는 로봇 정책 학습을 가능하게 함.
◦
적은 양의 실제 데이터(단일 집어 들고 놓기 작업)로 다양한 작업 수행 가능.
◦
DreamGen Bench를 통해 영상 생성 모델의 성능과 로봇 정책 성공 간의 상관관계를 제시.
◦
수동 데이터 수집에 대한 의존성 감소 및 로봇 학습 확장 가능성 제시.
•
한계점:
◦
잠재 행동 모델 또는 역동역학 모델을 이용한 의사 행동 시퀀스 복구의 정확도에 대한 검증 필요.
◦
합성 데이터의 현실성 한계 및 실제 환경과의 차이점에 대한 고려 필요.
◦
DreamGen Bench의 일반화 가능성 및 다른 로봇 시스템으로의 확장성 검증 필요.
◦
복잡한 작업이나 예측 불가능한 상황에 대한 일반화 성능 평가 필요.
👍
Made with Slashpage