Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
Una planificación deficiente en agentes materializados basados en modelos de lenguaje a gran escala (VLM) plantea graves riesgos de seguridad que dificultan su implementación en escenarios reales. Los paradigmas de evaluación estáticos y no interactivos existentes no evalúan adecuadamente los riesgos en estos entornos interactivos, ya que no pueden simular los riesgos dinámicos derivados de las acciones de un agente y se basan en evaluaciones post-hoc poco fiables que ignoran los pasos intermedios inseguros. Para abordar esta deficiencia crítica, este documento propone un método para evaluar la seguridad de la interacción de un agente: su capacidad para reconocer peligros emergentes y ejecutar medidas de mitigación en la secuencia procedimental correcta. Por lo tanto, presentamos IS-Bench, el primer punto de referencia de seguridad de interacción multimodal que presenta 161 escenarios desafiantes que involucran 388 peligros de seguridad únicos, implementados en un simulador de alta fidelidad. Fundamentalmente, facilita una novedosa evaluación centrada en el proceso que determina si las acciones de mitigación de riesgos se implementan antes o después de un paso de riesgo específico. Experimentos exhaustivos con los principales VLM, incluyendo las series GPT-4o y Gemini-2.5, demuestran que los agentes actuales carecen de conciencia de seguridad en las interacciones. Si bien las cadenas de pensamiento con conciencia de seguridad pueden mejorar el rendimiento, a menudo dificultan la finalización de tareas. Al destacar estas limitaciones críticas, IS-Bench sienta las bases para el desarrollo de sistemas de IA orientados a objetos más seguros y fiables. El código y los datos están disponibles en este enlace .
Presentación de IS-Bench, un nuevo referente para la evaluación de riesgos de seguridad en entornos interactivos.
◦
Proponer un método de evaluación orientado a procesos para la evaluación de la seguridad de la interacción.
◦
Presentación de los resultados del análisis experimental sobre el nivel de seguridad de interacción de los principales VLM.
◦
Proporcionar una base para desarrollar sistemas de IA orientados a objetos más seguros y confiables.
◦
Garantizar la reproducibilidad y escalabilidad de la investigación mediante código y datos abiertos.
•
Limitations:
◦
Actualmente, IS-Bench se evalúa en un entorno de simulación de alta fidelidad, por lo que se necesita más investigación para determinar su generalización a entornos del mundo real.
◦
Se ha demostrado que la aplicación del enfoque de Cadena de Pensamiento (CHI) a la concienciación sobre la seguridad es problemática, lo que podría conducir a menores tasas de finalización de tareas. Se necesita investigación para desarrollar técnicas de mejora de la seguridad más eficaces.
◦
Es necesario revisar más a fondo la diversidad y generalización de los escenarios incluidos en el índice de referencia.
