CLIP-Inspector: Model-Level Backdoor Detection for Prompt-Tuned CLIP via OOD Trigger Inversion

작성자

Haebom

카테고리

Empty

저자

Akshit Jindal, Saket Anand, Chetan Arora, Vikram Goyal

💡 개요

본 논문은 MLaaS 환경에서 프롬프트 튜닝된 CLIP 모델에 발생할 수 있는 백도어 공격을 탐지하는 CLIP-Inspector(CI)라는 새로운 모델 레벨 백도어 탐지 방법을 제안합니다. CI는 주어진 모델과 라벨 없는 OOD(Out-of-Distribution) 이미지를 활용하여 각 클래스에 대한 잠재적 트리거를 역전시켜 백도어 동작 여부를 판단합니다. 실험 결과, CI는 적은 양의 OOD 이미지와 짧은 훈련 시간으로 높은 탐지 정확도를 달성하며, 기존 방법론 대비 우수한 성능을 보입니다.

🔑 시사점 및 한계

•

MLaaS 환경에서 프롬프트 튜닝된 CLIP 모델의 보안 취약점인 백도어 공격에 대한 효과적인 모델 레벨 탐지 방법론을 제시합니다.

•

탐지된 백도어를 활용하여 모델을 재정렬하고 백도어의 효과를 감소시키는 후처리 복구 방안을 제시합니다.

•

제안된 방법론은 화이트박스 환경에서 모델 접근이 가능하고 라벨 없는 OOD 이미지가 필요하며, 다양한 종류의 백도어 공격에 대한 일반화 성능은 추가 검증이 필요할 수 있습니다.

PDF 보기

Made with Slashpage