Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Inyección de control de avisos en la capa lógica (LPCI): una nueva clase de vulnerabilidad de seguridad en sistemas de agentes

Created by
  • Haebom

Autor

Hammad Atta, Ken Huang, Manish Bhatt, Kamal Ahmed, Muhammad Aziz Ul Haq, Yasir Mehmood

Describir

Este artículo aborda un nuevo tipo de vulnerabilidad de seguridad oculta derivada de la integración de modelos de lenguaje a gran escala (LLM) en sistemas empresariales, concretamente vulnerabilidades en la capa de ejecución lógica y el contexto de memoria persistente. Presentamos la Inyección de Control de Avisos en la Capa Lógica (LPCI), un nuevo tipo de ataque que implica cargas útiles codificadas, retardadas y activadas condicionalmente en la memoria, el almacenamiento vectorial o la salida de la herramienta. Estas cargas útiles pueden eludir los filtros de entrada existentes y activar acciones no autorizadas en las sesiones.

Takeaways, Limitations

Takeaways: Al mejorar la comprensión de los ataques LPCI, una nueva amenaza para la seguridad de los sistemas basados en LLM, este estudio puede contribuir a fortalecer la seguridad de los sistemas empresariales. Al destacar que los filtros de entrada existentes por sí solos son insuficientes para defenderse de los ataques LPCI, este estudio resalta la necesidad de desarrollar nuevas estrategias de defensa de la seguridad.
Limitations: Actualmente, no se han propuesto técnicas de defensa ni estrategias de mitigación específicas contra ataques LPCI. Se carece de un análisis cuantitativo del nivel real de amenaza y la probabilidad de ataques LPCI. Se requiere más investigación para determinar la generalización de los ataques LPCI a diversos entornos LLM y de sistemas.
👍