본 논문은 객체 인식 모델에서 백도어 공격 탐지를 위한 새로운 방법을 제시합니다. 기존 연구들이 주로 가중치 미세 조정을 통한 완화에 집중한 반면, 본 논문은 훈련 및 추론 과정에서 보이지 않는 백도어 이미지를 직접 탐지하는 방법에 초점을 맞춥니다. Vision Language Model(VLM)의 프롬프트 튜닝 성공을 활용하여, 학습 가능한 텍스트 프롬프트를 훈련시켜 정상 이미지와 백도어 트리거가 있는 이미지를 구분합니다. 두 개의 잘 알려진 데이터셋에서 평균 86%의 높은 정확도를 달성하여, 기존 백도어 방어의 새로운 기준을 제시합니다.