본 논문은 영상 기반 제로샷 이상 탐지(ZSAD)를 위한 새로운 방법인 ViP²-CLIP을 제안합니다. 기존 CLIP 기반 ZSAD 방법들은 수작업 또는 정적 학습 가능 프롬프트에 의존하여 성능 저하 및 적응력 부족 문제를 가지고 있습니다. ViP²-CLIP은 시각적 인식 프롬프팅(ViP-Prompt) 메커니즘을 통해 전역 및 다중 스케일 지역 시각적 맥락을 융합하여 세분화된 텍스트 프롬프트를 적응적으로 생성합니다. 이를 통해 수동 템플릿과 클래스 이름 사전 정보 없이 정확한 이상 영역에 집중하여 모호하거나 개인 정보 보호가 중요한 상황에서도 효과적입니다. 15개의 산업 및 의료 벤치마크에 대한 실험 결과, ViP²-CLIP은 최첨단 성능과 강력한 도메인 일반화 능력을 보여줍니다.
시사점, 한계점
•
시사점:
◦
수동 프롬프트 엔지니어링의 필요성을 제거하여 효율성을 높였습니다.
◦
다양한 이상 유형에 대한 적응력을 향상시켰습니다.
◦
클래스 레이블에 대한 의존성을 줄여 모호하거나 개인 정보 보호가 중요한 상황에서도 적용 가능합니다.
