Ilov3Splat: Instance-Level Open-Vocabulary 3D Scene Understanding in Gaussian Splatting

작성자

Haebom

카테고리

비어 있음

저자

Binh Long Nguyen, Kien Nguyen, Sridha Sridharan, Clinton Fookes, Peyman Moghadam

💡 개요

본 논문은 3D Gaussian Splatting (3D-GS) 기반의 인스턴스 수준 열린 어휘 3D 장면 이해를 위한 새로운 프레임워크인 Ilov3Splat을 제안합니다. 기존 방법의 2D 렌더링 기반 매칭 또는 포인트 수준 의미 연관성의 한계를 극복하기 위해, Ilov3Splat은 뷰 일관성을 가진 피처 필드를 추가하여 장면 기하와 의미 표현을 공동으로 최적화합니다. 이를 통해 자연어 설명을 바탕으로 3D 장면 내 임의의 객체를 식별하는 유연하고 정확한 솔루션을 제공합니다.

🔑 시사점 및 한계

•

3D Gaussian Splatting에 언어 모델 (CLIP)과 인스턴스 분할 (SAM)을 통합하여, 3D 장면에서 텍스트 설명을 통해 객체를 식별하고 분할하는 새로운 가능성을 제시합니다.

•

기존 2D 기반 접근 방식의 한계를 극복하고 뷰 일관성 및 인스턴스 수준의 의미론적 추론 정확도를 향상시켰습니다.

•

실제 응용 시나리오에서 3D 장면 이해의 정확성과 유연성을 크게 향상시킬 수 있습니다.

•

복잡하거나 밀집된 3D 장면에서의 인스턴스 분할 정확도 향상 및 더 넓은 범위의 객체 카테고리에 대한 포괄적인 이해를 위한 추가 연구가 필요합니다.

PDF 보기

Slashpage로 제작됨