Task-Aware 3D Affordance Segmentation via 2D Guidance and Geometric Refinement
Created by
Haebom
Category
Empty
저자
Lian He, Meng Liu, Qilang Ye, Yu Zhou, Xiang Deng, Gangyi Ding
개요
자연어 지시 사항으로부터 3D 장면 수준의 어포던스를 이해하는 것은 복잡한 환경에서 구체화된 에이전트가 의미 있게 상호 작용하는 데 필수적입니다. 이 연구에서는 의미적 추론과 공간적 근거를 필요로 하는 이 과제의 어려움을 해결하기 위해 Task-Aware 3D Scene-level Affordance segmentation (TASA)를 소개합니다. TASA는 2D 의미적 단서와 3D 기하학적 추론을 공동으로 활용하는 새로운 기하학 최적화 프레임워크입니다. TASA는 2D 어포던스 감지 모듈을 통해 조작 가능한 지점을 식별하고, 3D 어포던스 개선 모듈을 통해 2D 의미적 사전 정보와 로컬 3D 기하학을 통합하여 정확하고 공간적으로 일관된 3D 어포던스 마스크를 생성합니다. SceneFun3D 실험을 통해 TASA는 정확성과 효율성 측면에서 기존의 방법들을 능가함을 입증했습니다.
시사점, 한계점
•
시사점:
◦
3D 장면 수준 어포던스 분할 문제를 해결하기 위한 혁신적인 프레임워크 제시 (TASA).
