In-N-On: Scaling Egocentric Manipulation with in-the-wild and on-task Data
Created by
Haebom
Category
Empty
저자
Xiongyi Cai, Ri-Zhao Qiu, Geng Chen, Lai Wei, Isabella Liu, Tianshu Huang, Xuxin Cheng, Xiaolong Wang
개요
본 논문은 조작 정책 학습을 위한 획기적인 데이터 소스인 자아 중심 비디오의 잠재력을 최대한 활용하는 방법을 제시합니다. 논문에서는 인간 데이터를 'in-the-wild'와 'on-task' 두 가지 범주로 분류하여 체계적인 데이터 사용 방안을 분석합니다. PHSD라는 1,000시간 이상의 다양한 'in-the-wild' 데이터와 20시간 이상의 'on-task' 데이터를 포함하는 데이터 세트를 구축하고, 이를 기반으로 대규모 자아 중심 언어 조건 흐름 매칭 정책인 Human0을 개발합니다. Human0은 도메인 적응 기술을 통해 인간과 휴머노이드 간의 격차를 줄입니다. 실험 결과, Human0은 인간 데이터만을 사용하여 지시를 따르고, 소량의 데이터로 학습하며, 'on-task' 데이터를 사용하여 견고성을 향상시키는 등 다양한 새로운 특성을 보였습니다.
시사점, 한계점
•
시사점:
◦
대규모 자아 중심 데이터를 활용한 조작 정책 학습의 새로운 가능성을 제시
◦
'in-the-wild'와 'on-task' 데이터 분류 및 활용을 통한 데이터 효율성 증대
◦
언어 지침 준수, 소량 데이터 학습, 견고성 향상 등 혁신적인 학습 능력 입증
◦
휴머노이드 로봇 제어 분야의 발전 기여
•
한계점:
◦
논문 자체의 구체적인 구현 방식 및 알고리즘에 대한 상세 정보 부족 (abstract에서 제한된 정보 제공)
◦
실험 결과의 일반화 가능성에 대한 추가적인 검증 필요
◦
PHSD 데이터 세트의 접근성 및 사용 용이성에 대한 정보 부족 (프로젝트 웹사이트 접근 필요)
