Cet article propose IDEATOR, une nouvelle méthode d'évaluation de la robustesse des modèles vision-langage (VLM) à grande échelle contre les attaques de jailbreak induisant des sorties malveillantes, pour un déploiement sécurisé des VLM. Afin de pallier le manque de données multimodales diversifiées, une limitation des recherches existantes, nous exploitons le VLM lui-même pour générer des paires de textes et d'images de jailbreak ciblés, générés par des modèles de propagation de pointe. IDEATOR atteint un taux de réussite des attaques (ASR) de 94 % contre MiniGPT-4 et des ASR élevés contre LLaVA, InstructBLIP et Chameleon, démontrant ainsi son efficacité et sa transférabilité. De plus, nous présentons VLJailbreakBench, un benchmark de sécurité composé de 3 654 échantillons de jailbreak multimodaux. Nous démontrons un alignement significatif des normes de sécurité sur 11 VLM récemment publiés (par exemple, GPT-4o avec 46,31 % d'ASR et Claude-3.5-Sonnet avec 19,65 % d'ASR).
