Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Progent: Control de privilegios programable para agentes LLM

작성자
  • Haebom

Autor

Tianneng Shi, Jingxuan He, Zhun Wang, Hongwei Li, Linyu Wu, Wenbo Guo, Dawn Song

Describir

Este artículo propone Progent, un nuevo marco de trabajo para abordar las amenazas de seguridad de los agentes del Modelo de Lenguaje a Gran Escala (LLM). Los agentes LLM interactúan con diversas herramientas externas y realizan tareas de usuario, pero son vulnerables a ataques como la inyección indirecta de mensajes, la contaminación de la memoria o la base de conocimiento, y herramientas maliciosas. Reconociendo que los permisos excesivos en las herramientas son una causa importante de ataques exitosos, Progent protege a los agentes controlando los permisos a nivel de herramienta, permitiendo solo las llamadas necesarias y bloqueando las maliciosas. Admite políticas de permisos detalladas, comportamiento de respaldo cuando se bloquean las llamadas y actualizaciones dinámicas de políticas mediante un lenguaje específico de dominio (DSL), y proporciona seguridad verificable mediante ejecución determinista. Su diseño modular permite la implementación sin modificaciones internas del agente. Las evaluaciones realizadas con benchmarks como AgentDojo, ASB y AgentPoison demuestran una tasa de éxito de ataque del 0 %, manteniendo la usabilidad y la velocidad del agente. Además, demostramos que LLM puede generar automáticamente políticas efectivas, lo que sugiere el potencial para automatizar la escritura de políticas.

Takeaways, Limitations

Takeaways:
Presentamos Progent, un nuevo marco que aborda eficazmente las vulnerabilidades de seguridad en los agentes LLM.
La aplicación de políticas de seguridad sofisticadas es posible mediante el control de permisos a nivel de herramienta.
Garantías de seguridad verificables con ejecución determinista.
El diseño modular requiere cambios mínimos en los agentes existentes.
Presentando la posibilidad de generación automática de políticas utilizando LLM.
Verificación del rendimiento a través de resultados experimentales utilizando diversos puntos de referencia.
Limitations:
Se necesita más investigación sobre la complejidad y usabilidad del DSL de Progent.
Se requiere verificación de compatibilidad y escalabilidad para varios tipos de agentes y herramientas LLM.
Se requiere evaluación del rendimiento y la estabilidad a largo plazo en entornos reales.
Se necesitan más investigaciones para determinar la precisión y confiabilidad de la generación automática de políticas utilizando LLM.
👍