MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training
Created by
Haebom
저자
Haoyun Li, Ivan Zhang, Runqi Ouyang, Xiaofeng Wang, Zheng Zhu, Zhiqin Yang, Zhentao Zhang, Boyuan Wang, Chaojun Ni, Wenkang Qin, Xinze Chen, Yun Ye, Guan Huang, Zhenbo Song, Xingang Wang
개요
본 논문은 VLA(Vision Language Action) 모델의 학습을 위해, 비용이 많이 드는 로봇 상호작용 데이터를 수집하는 대신, 쉽게 얻을 수 있는 인간 시연 비디오를 활용하는 새로운 프레임워크인 MimicDreamer를 제안한다. MimicDreamer는 비전, 시점, 액션을 정렬하여 인간 시연 비디오를 로봇이 사용할 수 있는 형태로 변환함으로써 VLA 모델의 학습을 지원한다. 구체적으로, H2R Aligner를 통해 인간 시연 비디오에서 로봇 시연 비디오를 생성하고, EgoStabilizer를 통해 시점을 안정화하며, 액션 정렬을 통해 인간 손의 궤적을 로봇 프레임으로 매핑하여 로봇의 관절 명령을 생성한다. 실험 결과, MimicDreamer를 통해 생성된 합성 데이터를 사용하여 훈련된 VLA 모델은 실제 로봇에서 소수의 시도로 작업을 수행할 수 있었으며, 실제 로봇 데이터만 사용한 모델보다 성능이 향상되었다.
시사점, 한계점
•
시사점:
◦
인간 시연 비디오를 활용하여 로봇 학습을 위한 데이터 획득 비용을 절감할 수 있음.
◦
새로운 프레임워크 MimicDreamer를 통해 인간 시연 비디오와 로봇의 환경 간의 격차를 효과적으로 해소함.
◦
합성 데이터를 활용하여 VLA 모델의 성능을 향상시키고, 실제 로봇 데이터만 사용했을 때보다 더 나은 결과를 얻음.
•
한계점:
◦
성능 향상을 위해 인간 시연 데이터에 의존하므로, 인간 시연 데이터의 품질에 따라 결과가 달라질 수 있음.
◦
H2R Aligner, EgoStabilizer, 액션 정렬 모듈의 성능에 따라 전반적인 프레임워크의 성능이 제한될 수 있음.
◦
6개의 대표적인 조작 작업에 대한 실험 결과만 제시되어, 다양한 로봇 환경 및 작업에 대한 일반화 성능을 추가적으로 검증해야 함.
