본 논문은 어떠한 사전 어휘도 없는, 즉 어휘가 없는 환경에서 3D 인스턴스 분할을 수행하는 최초의 방법을 제시합니다. 기존의 열린 어휘(open-vocabulary) 방식의 3D 인스턴스 분할 방법들은 특정 개념 집합(어휘) 내에서만 추론이 가능하다는 한계를 갖는데, 본 연구는 이러한 한계를 극복하기 위해 대규모 비전-언어 어시스턴트와 열린 어휘 2D 인스턴스 분할기를 활용하여 제시된 이미지에서 의미 범주를 발견하고 근거를 설정합니다. 입력 점 구름을 밀집된 슈퍼포인트로 분할한 후, 2D 객체 인스턴스 마스크에서 추정된 마스크 일관성과 의미 일관성을 고려하는 스펙트럼 클러스터링을 통한 새로운 슈퍼포인트 병합 전략을 통해 3D 인스턴스 마스크를 형성합니다. ScanNet200과 Replica 데이터셋을 사용하여 평가한 결과, 어휘가 없는 환경과 열린 어휘 환경 모두에서 기존 방법들을 능가하는 성능을 보였습니다. 코드는 공개될 예정입니다.
