Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models
Created by
Haebom
Category
Empty
저자
Alexander Htet Kyaw, Richa Gupta, Dhruv Shah, Anoop Sinha, Kory Mathewson, Stefanie Pender, Sachin Chitta, Yotto Koga, Faez Ahmed, Lawrence Sass, Randall Davis
개요
3D 생성 AI의 발전을 활용하여 자연어 프롬프트로부터 물리적 객체를 생성하는 기술을 소개합니다. 특히, 여러 구성 요소 유형을 포함하는 객체의 로봇 조립을 가능하게 하기 위해 3D 생성 AI와 비전-언어 모델(VLM)을 통합하는 파이프라인을 제시합니다. 이 방법은 VLM을 사용하여 객체의 기능성을 기반으로 AI 생성 메쉬를 다중 구성 요소 3D 모델로 분해합니다. 사용자는 대화형 피드백을 통해 구성 요소 할당을 개선할 수 있습니다.
시사점, 한계점
•
시사점:
◦
자연어 프롬프트 기반의 다중 구성 요소 객체 로봇 조립 가능성 제시.
◦
VLM을 활용하여 제로샷, 다중 모달 추론을 통한 효율적인 객체 분해.
◦
사용자 선호도 평가에서 VLM 기반 할당의 높은 성능 입증.
◦
대화형 피드백을 통한 사용자 제어 및 참여 증대.
•
한계점:
◦
구체적인 한계점에 대한 언급은 논문 요약에서 직접적으로 제시되지 않음. (논문 원문을 참고하여 추가적인 정보를 파악해야 함)
