본 논문은 비전-언어 모델(VLMs)의 이미지 기반 적대적 공격 취약성을 다룹니다. 기존의 표적 적대적 공격은 특정 목표와 레이블을 필요로 하지만, 본 논문에서 제시하는 AnyAttack은 LAION-400M 데이터셋을 이용한 자기 지도 학습 기반의 새로운 프레임워크로, 레이블 없이 사전 훈련되어 어떤 이미지든 다양한 VLMs에서 원하는 출력을 목표로 하는 공격 벡터로 변환할 수 있는 유연성을 제공합니다. AnyAttack는 CLIP, BLIP, BLIP2, InstructBLIP, MiniGPT-4 등 오픈소스 VLMs뿐만 아니라 Google Gemini, Claude Sonnet, Microsoft Copilot, OpenAI GPT 등 상용 시스템에서도 효과적으로 작동함을 보여줍니다.
