Este artículo propone IDEATOR, un novedoso método de ataque de jailbreak para la implementación segura de Modelos de Lenguaje de Visión (VLM) a gran escala, que explota las vulnerabilidades del modelo para inducir resultados maliciosos. IDEATOR aprovecha el propio VLM como un potente modelo adversarial para generar textos de jailbreak específicos, emparejándolos con imágenes de jailbreak generadas por un modelo de propagación de vanguardia. Los resultados experimentales muestran que IDEATOR alcanza una tasa de éxito de ataque (ASR) del 94% contra MiniGPT-4 y también demuestra una alta ASR contra LLaVA, InstructBLIP y Chameleon. Además, presentamos VLJailbreakBench, un benchmark de seguridad compuesto por 3654 muestras de jailbreak multimodo, que aprovecha la alta transferibilidad y el procesamiento automatizado de IDEATOR. Los resultados del benchmark contra 11 VLM lanzados recientemente muestran diferencias significativas en la alineación de seguridad.
