본 논문은 대규모 비전-언어 모델(VLMs)의 안전한 배포를 위해, 모델의 취약점을 악용하여 유해한 출력을 유도하는 탈옥 공격에 대한 새로운 방법인 IDEATOR를 제안한다. IDEATOR는 VLM 자체를 강력한 적대적 모델로 활용하여, 표적화된 탈옥 텍스트를 생성하고 최첨단 확산 모델로 생성된 탈옥 이미지와 짝을 이룬다. 실험 결과, IDEATOR는 MiniGPT-4에 대해 94%의 공격 성공률(ASR)을 달성했으며, LLaVA, InstructBLIP, Chameleon에도 높은 ASR을 보였다. 또한, IDEATOR의 강력한 전이성과 자동화된 프로세스를 기반으로 3,654개의 다중 모드 탈옥 샘플로 구성된 안전성 벤치마크 VLJailbreakBench를 소개한다. 11개의 최근 출시된 VLM에 대한 벤치마크 결과는 안전성 정렬에 상당한 차이가 있음을 보여준다.
