PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation
Created by
Haebom
저자
Yifan Yin, Zhengtao Han, Shivam Aarya, Jianxin Wang, Shuhang Xu, Jiawei Peng, Angtian Wang, Alan Yuille, Tianmin Shu
개요
PartInstruct는 부품 수준의 지시를 사용한 미세 조작 작업을 위한 최초의 대규모 벤치마크입니다. 14개 범주에 걸쳐 513개의 개체 인스턴스와 부품 수준 정보로 주석이 달린 1302개의 미세 조작 작업으로 구성됩니다. 훈련 세트는 3D 시뮬레이터에서 합성된 10,000개 이상의 전문가 데모로 구성되며, 각 데모는 고수준 작업 지시, 기본 부품 기반 기술 지시 체인 및 개체와 그 부품에 대한 실제 3D 정보와 짝을 이룹니다. 새로운 상태, 개체 및 작업에 대한 학습된 정책의 일반화 가능성을 평가하기 위한 포괄적인 테스트 세트도 설계되었습니다. 최첨단 로봇 조작 접근 방식(엔드투엔드 비전-언어 정책 학습 및 로봇 조작을 위한 2단계 계획 모델 포함)을 벤치마크에서 평가했습니다. 실험 결과에 따르면 현재 모델은 부품 개념을 견고하게 근거하고 3D 공간에서 작업을 예측하는 데 어려움을 겪고 있으며, 장기간 작업에서 개체 부품을 조작할 때 문제에 직면합니다.
시사점, 한계점
•
시사점: 부품 수준 지시를 사용한 미세 조작 작업을 위한 대규모 벤치마크인 PartInstruct를 제시하여, 향후 연구를 위한 표준화된 평가 기준을 제공합니다. 현재 모델의 한계를 명확히 보여주어, 향상된 부품 이해 및 3D 공간 내 작업 예측 능력을 갖춘 미세 조작 모델 개발을 위한 방향을 제시합니다.
•
한계점: 현재 모델은 부품 개념을 견고하게 근거하고 3D 공간에서 작업을 예측하는 데 어려움을 겪고 있으며, 장기간 작업에서 개체 부품을 조작하는 데 어려움을 보입니다. PartInstruct는 시뮬레이터에서 생성된 데이터를 기반으로 하므로, 실제 세계 데이터에 대한 일반화 성능이 제한적일 수 있습니다.