PartInstruct: Part-level Instruction Following for Fine-grained Robot Manipulation
Created by
Haebom
저자
Yifan Yin, Zhengtao Han, Shivam Aarya, Jianxin Wang, Shuhang Xu, Jiawei Peng, Angtian Wang, Alan Yuille, Tianmin Shu
개요
PartInstruct는 부분 수준의 지시를 사용한 미세 조정 로봇 조작 모델의 훈련 및 평가를 위한 최초의 대규모 벤치마크입니다. 14개 카테고리에 걸쳐 513개의 객체 인스턴스와 부분 수준 정보로 주석이 달린 1302개의 미세 조정 조작 작업을 포함합니다. 10,000개 이상의 전문가 시뮬레이션 데모로 구성된 훈련 세트는 고수준 작업 지시, 기본 부분 기반 기술 지시 체인 및 객체와 해당 부분에 대한 실제 3D 정보와 짝을 이룹니다. 새로운 상태, 객체 및 작업에 대한 학습된 정책의 일반화 가능성을 평가하기 위한 포괄적인 테스트 세트도 설계되었습니다. 실험 결과는 현재 모델이 부분 개념을 견고하게 근거짓고 3D 공간에서 동작을 예측하는 데 어려움을 겪고, 장기간 작업에서 객체 부분을 조작할 때 어려움에 직면함을 보여줍니다.
시사점, 한계점
•
시사점: 부분 수준 지시를 사용한 미세 조정 로봇 조작을 위한 대규모 벤치마크인 PartInstruct를 제시하여, 향후 연구의 기준을 제시합니다. 현재 로봇 조작 모델의 한계를 명확히 보여주어 향상된 모델 개발을 위한 방향을 제시합니다.
•
한계점: 현재 모델들이 부분 개념을 3D 공간에서 견고하게 적용하고, 장기간 작업에서 객체 부분을 조작하는 데 어려움을 겪는다는 점이 한계로 지적됩니다. PartInstruct 데이터셋의 크기 및 다양성은 향후 더 확장될 수 있습니다. 시뮬레이션 데이터를 기반으로 했기에 실제 환경에서의 일반화 성능에 대한 검증이 추가적으로 필요합니다.