EmbodiedOneVision: Interleaved Vision-Text-Action Pretraining for General Robot Control
Created by
Haebom
저자
Delin Qu, Haoming Song, Qizhi Chen, Zhaoqing Chen, Xianqiang Gao, Xinyi Ye, Qi Lv, Modi Shi, Guanghui Ren, Cheng Ruan, Maoqing Yao, Haoran Yang, Jiacheng Bao, Bin Zhao, Dong Wang
개요
본 논문은 EO-Robotics, 즉 통합된 엠보디드 기초 모델 EO-1과 150만 개 이상의 샘플을 포함하는 대규모 다중 모달 엠보디드 추론 데이터셋 EO-Data1.5M을 소개합니다. EO-1은 이미지, 텍스트, 비디오, 액션 등 다중 모달 입력을 구별 없이 처리하는 통합 아키텍처와 EO-Data1.5M을 기반으로 자기회귀 디코딩과 플로우 매칭 디노이징의 시너지를 통해 훈련됩니다. 이를 통해 매끄러운 로봇 액션 생성과 다중 모달 엠보디드 추론을 가능하게 하며, 다양한 장기간, 숙련된 조작 작업에서 개방형 세계 이해 및 일반화에 대한 효과를 보여줍니다. 논문에서는 EO-1의 아키텍처, EO-Data1.5M의 데이터 구성 전략, 그리고 훈련 방법론에 대한 자세한 내용을 제공합니다.
시사점, 한계점
•
시사점:
◦
다중 모달 엠보디드 추론 및 로봇 제어에서 우수한 성능을 달성하는 통합된 엠보디드 기초 모델 EO-1을 제시합니다.
◦
EO-Data1.5M과 같은 대규모 고품질 다중 모달 데이터셋을 활용하여 시너지 효과를 내는 훈련 방법론을 제시합니다.
◦
다양한 장기간, 숙련된 조작 작업에서 개방형 세계 이해 및 일반화에 대한 효과를 실험적으로 입증합니다.
◦
다중 모달 입력을 구별 없이 처리하는 통합 아키텍처의 효용성을 보여줍니다.
•
한계점:
◦
EO-Data1.5M 데이터셋의 수집 및 구성 과정에 대한 자세한 설명이 부족할 수 있습니다. (데이터셋의 편향성, 대표성 등에 대한 논의가 필요할 수 있음)
◦
인간 수준의 유연성 달성에는 아직 미흡한 점이 있을 수 있습니다. (추후 연구를 통해 개선이 필요할 수 있음)
◦
제시된 모델의 확장성 및 일반화 능력에 대한 추가적인 연구가 필요할 수 있습니다. (다양한 환경 및 작업에 대한 적용성 검증이 필요함)
