[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

STACK: Ataques adversarios a los pipelines de protección de LLM

Created by
  • Haebom

Autor

Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

Describir

Este artículo analiza los últimos desarrollos en IA que utilizan múltiples capas de protección para proteger contra el uso indebido catastrófico de sistemas de IA de vanguardia. Observamos que la seguridad de las secuencias de protección de varios desarrolladores, incluido el modelo Claude 4 Opus de Anthropic, es incierta y que existe una falta de investigación previa sobre su evaluación y ataque. Este artículo busca abordar esta deficiencia mediante el desarrollo de una secuencia de protección de código abierto y su implementación en red-team. Desarrollamos un novedoso clasificador de entrada y salida basado en indicaciones de pocos intentos que supera al modelo de protección de vanguardia existente, ShieldGemma, y presentamos una novedosa técnica de ataque denominada Ataque por Etapas (STACK), que logra una tasa de éxito significativa incluso en un entorno de caja negra. Finalmente, presentamos mitigaciones que los desarrolladores pueden utilizar para prevenir ataques por etapas.

Takeaways, Limitations

•
Takeaways:
◦
Un clasificador de entrada y salida basado en indicaciones de unos pocos disparos supera a los modelos de seguridad de última generación existentes.
◦
Demuestra la posibilidad de realizar ataques efectivos a tuberías de dispositivos de seguridad de última generación utilizando la técnica de ataque por etapas (STACK).
◦
Al demostrar la posibilidad de ataques en un entorno de caja negra, presentamos claramente la vulnerabilidad de los dispositivos de seguridad de IA.
◦
Proporciona medidas de mitigación específicas para prevenir ataques organizados.
•
Limitations:
◦
Se necesitan más investigaciones para determinar la eficacia de las medidas de mitigación propuestas actualmente.
◦
Se necesitan más investigaciones sobre la generalización entre diferentes modelos de IA y canales de seguridad.
◦
Se necesita una mayor validación de las tasas de éxito de los ataques en entornos del mundo real.
👍
Made with Slashpage