본 논문은 영상-언어 기반 객체 검출기(YOLO-World, Grounding DINO)의 제로샷 성능 저하 문제를 해결하기 위해 새로운 모달리티(적외선, 깊이)에 적응하는 새로운 시각적 프롬프트 전략인 ModPrompt를 제안합니다. 기존의 이미지 변환 기법이나 미세 조정 기법과 달리, ModPrompt는 인코더-디코더 기반의 시각적 프롬프트 전략과 모달리티 프롬프트 분리 잔차를 활용하여 제로샷 성능을 유지하면서 다양한 모달리티에 대한 적응력을 향상시킵니다. LLVIP, FLIR, NYUv2 데이터셋을 사용한 실험 결과, ModPrompt는 전체 미세 조정과 비교할 만한 성능을 달성하면서 제로샷 성능을 유지하는 것을 보여줍니다.
