EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos
Created by
Haebom
저자
Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, Xiaolong Wang
개요
본 논문은 로봇 조작을 위한 모방 학습에서 실제 로봇 데이터 수집의 한계를 극복하기 위해 인간의 시점에서 촬영된 비디오 데이터를 활용하는 Vision-Language-Action (VLA) 모델인 EgoVLA를 제안합니다. 인간 비디오 데이터의 풍부한 장면과 작업 정보를 활용하여 VLA 모델을 학습시키고, 역운동학 및 리타겟팅을 통해 인간의 행동을 로봇 행동으로 변환합니다. 소량의 로봇 조작 데모를 사용하여 모델을 미세 조정하고, 'Ego Humanoid Manipulation Benchmark'라는 시뮬레이션 벤치마크를 통해 다양한 양손 조작 작업에 대한 성능을 평가하여 기존 방법보다 우수한 성능을 보임을 입증합니다.
시사점, 한계점
•
시사점:
◦
인간 비디오 데이터의 대규모 활용을 통한 로봇 조작 모방 학습의 효율성 향상.
◦
다양한 장면과 작업에 대한 일반화 성능 향상.
◦
역운동학 및 리타겟팅을 통한 인간 행동의 로봇 행동으로의 효과적인 변환.
◦
새로운 시뮬레이션 벤치마크인 Ego Humanoid Manipulation Benchmark 제공.
•
한계점:
◦
인간 행동과 로봇 행동 간의 차이로 인한 정확도 저하 가능성.
◦
실제 로봇 환경에서의 일반화 성능 검증 필요.
◦
Ego Humanoid Manipulation Benchmark의 한계로 인한 일반화 성능의 제한.
