A pesar de las recientes mejoras en el rendimiento de los modelos de texto a imagen (T2I), este artículo plantea inquietudes sobre la generación de contenido no apto para el trabajo (NSFW), incluyendo imágenes sexualmente sugestivas, violentas, políticamente sensibles y ofensivas. Para abordar esta cuestión, presentamos PromptGuard, una novedosa técnica de moderación de contenido. Inspirada en el mecanismo de avisos del sistema de los modelos de lenguaje a gran escala (LLM), PromptGuard optimiza los avisos suaves seguros (P*), que funcionan como avisos implícitos del sistema dentro del espacio de incrustación de texto de los modelos T2I. Esto permite la generación segura y realista de imágenes sin comprometer la eficiencia de la inferencia ni requerir modelos proxy. Además, optimizamos los avisos suaves específicos de cada categoría y los integramos para proporcionar orientación sobre seguridad, mejorando la fiabilidad y la usabilidad. Experimentos exhaustivos con cinco conjuntos de datos demuestran que PromptGuard mitiga eficazmente la generación de contenido no apto para el trabajo (NSFW), manteniendo un resultado positivo de alta calidad. Alcanza una velocidad 3,8 veces superior a la de los métodos existentes y reduce la tasa óptima de contenido no seguro al 5,84 %, superando a ocho defensas de vanguardia.
