본 논문은 대규모 비전-언어 모델(VLMs)의 안전한 배포를 위해 새로운 탈옥 공격 기법인 IDEATOR를 제안합니다. 기존 연구들의 한계인 다양한 다중 모달 데이터 부족 문제를 해결하기 위해, VLM 자체를 활용하여 악성 이미지-텍스트 쌍을 자율적으로 생성합니다. IDEATOR는 VLM을 이용해 표적화된 탈옥 텍스트를 생성하고, 최첨단 확산 모델로 탈옥 이미지를 생성하여 짝을 지어줍니다. 실험 결과, MiniGPT-4에 대해 94%의 공격 성공률(ASR)을 달성했으며, LLaVA, InstructBLIP, Chameleon에도 높은 ASR을 보였습니다. 또한, IDEATOR의 강력한 전이성과 자동화된 프로세스를 기반으로 3,654개의 다중 모달 탈옥 샘플로 구성된 VLBreakBench라는 안전성 벤치마크를 소개합니다. 11개의 최근 출시된 VLM에 대한 벤치마크 결과는 상당한 안전성 차이를 보여주며, 강력한 방어의 시급성을 강조합니다.
