EgoVLA: Learning Vision-Language-Action Models from Egocentric Human Videos
Created by
Haebom
저자
Ruihan Yang, Qinxi Yu, Yecheng Wu, Rui Yan, Borui Li, An-Chieh Cheng, Xueyan Zou, Yunhao Fang, Hongxu Yin, Sifei Liu, Song Han, Yao Lu, Xiaolong Wang
개요
본 논문은 로봇 조작을 위한 모방 학습에서 실제 로봇 데이터 수집의 규모 제약을 극복하기 위해 인간 중심 시점의 비디오 데이터를 활용하는 방법을 제시합니다. 인간 비디오 데이터의 풍부한 장면과 작업 정보를 활용하여 Vision-Language-Action (VLA) 모델을 학습하고, 역운동학(Inverse Kinematics)과 리타겟팅을 통해 인간 행동을 로봇 행동으로 변환합니다. 소량의 로봇 조작 데모를 이용해 모델을 미세 조정하여 EgoVLA라는 로봇 정책을 얻고, 다양한 양손 조작 작업을 포함하는 Isaac Humanoid Manipulation Benchmark라는 시뮬레이션 벤치마크를 제시하여 EgoVLA를 평가하고 기존 방식보다 성능 향상을 보였습니다.
시사점, 한계점
•
시사점:
◦
인간 비디오 데이터의 대규모 활용을 통한 로봇 조작 학습의 효율성 증대.
◦
인간 행동 데이터의 풍부한 정보를 로봇 학습에 활용하는 새로운 접근 방식 제시.
◦
Isaac Humanoid Manipulation Benchmark를 통한 로봇 조작 기술의 객관적인 평가 및 비교 가능.
•
한계점:
◦
인간 행동과 로봇 행동 간의 차이로 인한 정확도 저하 가능성.
◦
시뮬레이션 환경에서의 성능이 실제 환경에서도 동일하게 적용될 수 있는지에 대한 검증 필요.
