Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models
Created by
Haebom
Category
Empty
저자
Alexander Htet Kyaw, Richa Gupta, Dhruv Shah, Anoop Sinha, Kory Mathewson, Stefanie Pender, Sachin Chitta, Yotto Koga, Faez Ahmed, Lawrence Sass, Randall Davis
개요
3D 생성 AI와 비전-언어 모델(VLM)을 통합하여 자연어로 다중 부품 객체의 로봇 조립을 가능하게 하는 파이프라인을 제시합니다. VLM을 활용하여 기하학적 구조 및 기능에 대한 제로샷, 다중 모달 추론을 수행하고, AI가 생성한 메쉬를 미리 정의된 구조 및 패널 구성 요소로 분해합니다. VLM은 객체의 기하학적 구조 및 기능을 기반으로 패널 구성 요소가 필요한 메쉬 영역을 결정할 수 있습니다. 실험 결과, 사용자들은 VLM이 생성한 할당을 90.6% 선호했습니다.
시사점, 한계점
•
시사점:
◦
3D 생성 AI와 VLM의 통합을 통해 다중 부품 객체의 로봇 조립을 가능하게 함.
◦
VLM을 활용하여 객체의 기하학적 구조 및 기능에 대한 추론을 수행하고, 구성 요소 할당을 자동화함.
◦
사용자 피드백을 통해 구성 요소 할당을 개선하고, 인간의 제어 및 자율성을 높임.
◦
규칙 기반 및 무작위 할당 방식보다 VLM 기반 할당 방식이 사용자 선호도 측면에서 우수함.
