본 연구는 기존의 3D 특화된 미세조정을 필요로 하는 방법들과 달리, 상용 멀티모달 대규모 언어 모델의 부상적 추론 능력을 활용하여 3D 환경에서 제로샷 공간 추론을 달성하는 새로운 프레임워크인 SpatialPrompting을 제시합니다. SpatialPrompting은 키프레임 기반 프롬프트 생성 전략을 사용합니다. 시각-언어 유사도, 마할라노비스 거리, 시야각, 이미지 선명도와 같은 지표를 사용하여 이미지 시퀀스에서 다양하고 유익한 키프레임 집합을 선택하고, 이를 해당 카메라 위치 데이터와 통합하여 공간 관계를 효과적으로 추상화하고 복잡한 3D 구조를 추론합니다. ScanQA 및 SQA3D와 같은 벤치마크 데이터셋에서 여러 지표에 걸쳐 최첨단 제로샷 성능을 달성하며, 특수한 3D 입력 및 미세 조정이 필요 없어 기존 방식보다 간단하고 확장 가능한 대안을 제공합니다.
