Free-form language-based robotic reasoning and grasping
Created by
Haebom
Category
Empty
저자
Runyu Jiao, Alice Fasoli, Francesco Giuliari, Matteo Bortolon, Sergio Povoli, Guofeng Mei, Yiming Wang, Fabio Poiesi
개요
본 논문은 잡동사니가 가득한 상자에서 인간의 자유 형식 언어 명령어를 기반으로 로봇이 물체를 잡는 과제를 다룬다. GPT-4o와 같은 웹 규모 데이터로 훈련된 Vision-Language Model (VLM)의 놀라운 추론 능력을 활용하여, 제로샷 설정에서 자유 형식 언어 기반 로봇 그립핑 작업을 수행하는 새로운 방법인 FreeGrasp를 제안한다. FreeGrasp는 사전 훈련된 VLM의 세계 지식을 활용하여 인간의 지시와 물체의 공간적 배열에 대한 추론을 수행한다. 모든 물체를 키포인트로 감지하고 이를 이용하여 이미지에 마크를 주석 처리하여 GPT-4o의 제로샷 공간 추론을 용이하게 한다. 이를 통해 요청된 물체를 직접 집을 수 있는지, 아니면 다른 물체를 먼저 집어 제거해야 하는지 판단한다. 이러한 작업을 위해 특별히 설계된 데이터셋이 없으므로, MetaGraspNetV2 데이터셋을 인간 주석이 달린 지시와 정답 그립핑 시퀀스로 확장하여 합성 데이터셋 FreeGraspData를 도입한다. FreeGraspData와 그리퍼 장착 로봇 팔을 사용한 실제 환경 검증을 통해 광범위한 분석을 수행하여 그립핑 추론 및 실행에서 최첨단 성능을 보여준다.
시사점, 한계점
•
시사점:
◦
자유 형식 언어 기반 로봇 그립핑 작업에 대한 새로운 방법인 FreeGrasp 제시.
◦
사전 훈련된 VLM의 세계 지식을 활용하여 제로샷 설정에서 효과적인 그립핑 추론 가능성을 보여줌.
◦
합성 데이터셋 FreeGraspData를 통해 실제 환경 적용 가능성을 높임.
◦
실제 로봇 팔을 이용한 실험을 통해 최첨단 성능을 달성.
•
한계점:
◦
FreeGraspData는 합성 데이터셋으로, 실제 환경의 복잡성을 완벽하게 반영하지 못할 수 있음.
◦
제로샷 설정이므로, 특정 유형의 명령어나 물체 배열에 대해서는 성능이 저하될 가능성이 있음.
