Este artículo presenta un método automatizado para medir el nivel de Conciencia de Seguridad de la Información (ISA) de asistentes basados en modelos de lenguaje a gran escala (LLM). ISA abarca no solo el conocimiento de seguridad de los LLM abordado en investigaciones previas, sino también las actitudes y comportamientos cruciales para comprender el contexto de seguridad implícito y rechazar solicitudes inseguras, utilizando 30 taxonomías de ISA móviles. Utilizando escenarios reales para explorar la tensión entre los riesgos de seguridad implícitos y la satisfacción del usuario, evaluamos los niveles de ISA de los principales LLM. Observamos que la mayoría de los modelos presentan niveles de ISA medios o bajos. En particular, las variantes más pequeñas dentro de la misma familia de modelos son aún más peligrosas, y la falta de mejoras consistentes de ISA en versiones recientes sugiere que los proveedores no están abordando activamente este problema. Esto demuestra la vulnerabilidad generalizada de las implementaciones actuales de LLM, lo que implica que los modelos más populares, incluidas las variantes más pequeñas, exponen sistemáticamente a los usuarios a riesgos. Este artículo propone una estrategia práctica de mitigación que integra directrices de conciencia de seguridad en las indicaciones del sistema de modelos para ayudar a los LLM a detectar y rechazar mejor las solicitudes inseguras.
