ReferGPT는 제로샷 참조 다중 객체 추적 프레임워크입니다. 기존의 end-to-end 학습이나 추가 모듈 통합 방식과 달리, 공간 지식을 갖춘 다중 모달 대규모 언어 모델(MLLM)을 사용하여 3D 인식 캡션을 생성합니다. CLIP 기반 의미론적 인코딩과 퍼지 매칭을 활용한 강력한 쿼리 매칭 전략을 통해 사용자 쿼리와 MLLM 생성 캡션을 연결합니다. Refer-KITTI, Refer-KITTIv2, Refer-KITTI+ 데이터셋에서 기존 방식들과 비교하여 경쟁력 있는 성능을 보이며, 자율 주행 분야에서 강건하고 제로샷 기능을 보여줍니다.
