Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

HonestCyberEval: Un punto de referencia de riesgo cibernético de IA para la explotación automatizada de software

Created by
  • Haebom

Autor

Dan Ristea, Vasilios Mavroudis

Describir

Presentamos un nuevo benchmark llamado HonestCyberEval. Este benchmark está diseñado para evaluar las capacidades y los riesgos de los modelos de IA frente a la explotación automatizada de software, centrándose en su capacidad para detectar y explotar vulnerabilidades en sistemas de software reales. Utilizando un repositorio de servidor web Nginx con vulnerabilidades sintéticas, evaluamos varios modelos de lenguaje líderes, incluyendo GPT-4.5, o3-mini, o1 y o1-mini de OpenAI; Claude-3-7-sonnet-20250219, Claude-3.5-sonnet-20241022 y Claude-3.5-sonnet-20240620 de Anthropic; Gemini-1.5-pro de Google DeepMind; y el modelo GPT-4o previo de OpenAI. Los resultados muestran diferencias significativas en las tasas de éxito y la eficacia de estos modelos. o1-preview logró la mayor tasa de éxito (92,85%), mientras que o3-mini y Claude-3.7-sonnet-20250219 ofrecieron alternativas rentables, pero con menor tasa de éxito. Esta evaluación de riesgos proporciona una base para evaluar sistemáticamente los ciberriesgos de la IA en operaciones de ciberataque realistas.

Takeaways, Limitations

Takeaways:
Presentamos HonestCyberEval, un nuevo punto de referencia que evalúa la capacidad de los modelos de IA para explotar vulnerabilidades en sistemas de software del mundo real.
Proporciona comparación y análisis de las capacidades de explotación de software automatizada de varios modelos de lenguaje de última generación.
Proporciona información sobre la selección óptima del modelo mediante el análisis de la correlación entre la tasa de éxito del modelo y la relación coste-efectividad.
Establecer un marco sistemático para la evaluación del riesgo cibernético de la IA en escenarios realistas de ciberataques.
Limitations:
La evaluación se limita al servidor web Nginx y a las vulnerabilidades sintéticas, por lo que la generalización a otros sistemas de software o vulnerabilidades del mundo real es limitada.
Los tipos y versiones de los modelos lingüísticos utilizados en la evaluación pueden ser limitados. Se requiere una evaluación más exhaustiva de una gama más amplia de modelos.
Es necesario considerar el realismo de las vulnerabilidades sintéticas y la diferencia entre ellas y las vulnerabilidades reales.
👍