PartInstruct는 부품 수준의 지시를 사용한 미세 조작 작업을 위한 최초의 대규모 벤치마크입니다. 14개 범주에 걸쳐 513개의 객체 인스턴스와 각각 부품 수준 정보가 주석된 1302개의 미세 조작 작업을 포함합니다. 10,000개 이상의 전문가 데모가 3D 시뮬레이터에서 합성되었으며, 각 데모는 고수준 작업 지시, 기본 부품 기반 기술 지시 체인, 객체 및 해당 부품에 대한 지상 진실 3D 정보와 쌍을 이룹니다. 새로운 상태, 객체 및 작업에 걸쳐 학습된 정책의 일반화 가능성을 평가하기 위한 포괄적인 테스트 세트도 설계되었습니다. 최첨단 로봇 조작 접근 방식(엔드투엔드 비전-언어 정책 학습 및 로봇 조작을 위한 2단계 계획 모델 포함)을 평가한 결과, 현재 모델은 부품 개념을 강력하게 근거로 삼고 3D 공간에서 동작을 예측하는 데 어려움을 겪고, 장기간 작업에서 객체 부품을 조작할 때 어려움에 직면하는 것으로 나타났습니다.
