본 논문은 기존 3D 객체 검출 데이터셋의 한계(좁은 클래스 분류 및 고비용 수동 주석)를 극복하기 위해, 웹 규모의 이미지-텍스트 쌍으로 학습된 2D 비전-언어 모델을 활용하여 사람이 주석을 달지 않은 3D 객체 검출을 수행하는 방법을 제시합니다. 2D 비전-언어 검출기를 사용하여 텍스트 조건 제안을 생성하고, SAM을 이용하여 분할한 후 카메라 기하학과 LiDAR 또는 단안 의사 깊이를 사용하여 3D로 투영합니다. DBSCAN 클러스터링과 Rotating Calipers 기반의 기하학적 팽창 전략을 통해 훈련 없이 3D 바운딩 박스를 추론합니다. 또한, 실제 환경의 열악한 조건을 시뮬레이션하기 위해 안개가 추가된 RGB 전용 nuScenes 데이터셋 변형인 Pseudo-nuScenes를 구성했습니다. LiDAR 기반 및 순수 RGB-D 입력을 포함한 여러 설정에서 경쟁력 있는 위치 확인 성능을 달성하며, 훈련이 필요 없고 개방형 어휘를 지원하는 것을 실험을 통해 보여줍니다.
