Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models
Created by
Haebom
Category
Empty
저자
Alexander Htet Kyaw, Richa Gupta, Dhruv Shah, Anoop Sinha, Kory Mathewson, Stefanie Pender, Sachin Chitta, Yotto Koga, Faez Ahmed, Lawrence Sass, Randall Davis
개요
3D 생성 AI와 비전-언어 모델(VLM)을 통합하여 자연어 프롬프트로부터 다중 부품 객체의 로봇 조립을 가능하게 하는 파이프라인을 제시합니다. VLM을 활용하여 객체의 형상 및 기능에 대한 제로샷, 다중 모달 추론을 수행하고, AI 생성 메쉬를 미리 정의된 구조 및 패널 구성 요소로 분해합니다. VLM은 객체의 형상과 기능에 따라 패널 구성 요소가 필요한 메쉬 영역을 결정할 수 있으며, 사용자 선호도 평가 결과 90.6%의 선호도를 보였습니다. 또한, 대화형 피드백을 통해 구성 요소 할당을 개선하여 생성 AI와 로봇 공학을 활용한 물리적 객체 제작에 대한 사용자 제어 및 주도성을 높입니다.
시사점, 한계점
•
시사점:
◦
자연어 프롬프트 기반의 다중 부품 객체 로봇 조립을 위한 새로운 접근 방식 제시.
◦
VLM을 활용하여 객체의 형상 및 기능에 대한 추론을 수행, 구성 요소 할당의 정확성 향상.
