Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

AgentArmor: Aplicación del análisis del programa en el seguimiento del tiempo de ejecución del agente para protegerse contra la inyección de mensajes

Created by
  • Haebom

Autor

Peiran Wang, Yang Liu, Yunfei Lu, Yifeng Cai, Hongbo Chen, Qingyou Yang, Jie Zhang, Jue Hong, Ye Wu

Describir

Este artículo presenta un enfoque novedoso para abordar las vulnerabilidades de seguridad en agentes de Modelos de Lenguaje a Gran Escala (LLM), en particular el riesgo de ataques de inyección rápida, mediante el tratamiento de las trazas de ejecución de los agentes como programas estructurados. Proponemos un marco de análisis de programas, AgentArmor, que transforma las trazas de los agentes en representaciones intermedias de grafos (CFG, DFG, PDG, etc.) e implementa políticas de seguridad mediante un sistema de tipos. AgentArmor consta de tres componentes principales: un generador de grafos, un registro de propiedades y un sistema de tipos. Al representar el comportamiento del agente como un programa estructurado, permite el análisis de programas para flujos de datos sensibles, límites de confianza e infracciones de políticas. Los resultados de la evaluación realizada con el benchmark AgentDojo demuestran que AgentArmor reduce la ASR al 3 % y limita la degradación de la utilidad al 1 %.

Takeaways, Limitations

Takeaways:
Proporcionar una solución eficaz al problema de vulnerabilidad de seguridad de los agentes LLM.
Permite el uso de técnicas de análisis estático al convertir los seguimientos de ejecución del agente en programas estructurados para su análisis.
AgentArmor puede ayudar a reducir las amenazas de seguridad causadas por ataques de inyección rápida.
Los resultados experimentales verifican la eficacia y practicidad de AgentArmor.
Limitations:
Se necesita más investigación sobre el rendimiento y la eficacia de AgentArmor.
Se requiere verificación de aplicabilidad para varios tipos de agentes y entornos LLM.
Necesidad de verificar la precisión y las limitaciones del análisis del comportamiento de agentes complejos
Necesidad de evaluar la adaptabilidad a nuevos tipos de ataques o diseños de agentes
👍