AdaptCLIP: Adapting CLIP for Universal Visual Anomaly Detection
Created by
Haebom
저자
Bin-Bin Gao, Yue Zhu, Jiangtao Yan, Yuezhi Cai, Weixi Zhang, Meng Wang, Jun Liu, Yong Liu, Lei Wang, Chengjie Wang
개요
본 논문은 새로운 또는 보이지 않는 비전 영역에서 추가적인 미세 조정 없이 이상 현상을 식별하는 범용 시각적 이상 탐지를 다룹니다. 기존 연구에서는 CLIP과 같은 사전 훈련된 비전-언어 모델이 0-shot 또는 few-shot 학습으로 강력한 일반화 성능을 보임을 보였지만, 프롬프트 템플릿 설계, 복잡한 토큰 상호 작용 또는 추가 미세 조정의 필요성으로 인해 유연성이 제한적이었습니다. 본 논문에서는 AdaptCLIP이라는 간단하면서도 효과적인 방법을 제시합니다. AdaptCLIP은 첫째, 적응적 시각 및 텍스트 표현을 공동으로 학습하는 대신 번갈아 학습해야 하며, 둘째, 쿼리와 정상 이미지 프롬프트 간의 비교 학습은 잔차 특징에만 의존하는 것이 아니라 문맥적 및 정렬된 잔차 특징을 모두 통합해야 한다는 두 가지 주요 통찰력에 기반합니다. CLIP 모델을 기본 서비스로 취급하고, 시각 어댑터, 텍스트 어댑터 및 프롬프트-쿼리 어댑터라는 세 가지 간단한 어댑터만 입력 또는 출력 끝에 추가합니다. 기본 데이터셋에서 훈련된 후에는 대상 도메인에서 훈련이 필요 없으며, 도메인 간 0-shot/few-shot 일반화를 지원합니다. 산업 및 의료 도메인의 12개 이상 탐지 벤치마크에서 최첨단 성능을 달성하여 기존 경쟁 방법을 크게 능가합니다. 코드와 모델은 https://github.com/gaobb/AdaptCLIP 에서 공개될 예정입니다.
