Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Atribución basada en incrustación (LEA) de LLM: cuantificación de las contribuciones de las fuentes a la respuesta del modelo generativo para el análisis de vulnerabilidades

Created by
  • Haebom

Autor

Reza Fayyazi, Michael Zuzak, Shanchieh Jay Yang

Describir

Este documento aborda los problemas de confiabilidad y seguridad de los modelos de lenguaje a gran escala (LLM), que se utilizan cada vez más en el análisis de amenazas de ciberseguridad. Con más de 21,000 vulnerabilidades reveladas solo en 2025, el análisis manual es imposible, y el soporte de IA escalable y verificable es crucial. Los LLM tienen dificultades para abordar las vulnerabilidades emergentes debido a las limitaciones de sus datos de entrenamiento. La Generación Aumentada por Recuperación (RAG) puede mitigar estas limitaciones al proporcionar información actualizada, pero sigue sin estar claro en qué medida los LLM dependen de la información recuperada y si esta es significativa y precisa. Esta incertidumbre puede confundir a los analistas de seguridad, lo que lleva a una priorización incorrecta de parches y a un aumento de los riesgos de seguridad. Por lo tanto, este documento propone la Atribución basada en la Integración de LLM (LEA) para analizar las respuestas generadas para el análisis de explotación de vulnerabilidades. LEA cuantifica las contribuciones relativas del conocimiento interno y el contenido recuperado en la respuesta generada. Utilizando tres LLM de vanguardia, evaluamos LEA en tres configuraciones de RAG (válida, genérica e incorrecta) frente a 500 vulnerabilidades críticas descubiertas entre 2016 y 2025. Los resultados demuestran que LEA puede detectar diferencias claras entre escenarios de no descubrimiento, genéricos y de descubrimiento válido con una precisión superior al 95 % en un modelo a gran escala. Finalmente, demostramos las limitaciones de recuperar información incorrecta sobre vulnerabilidades y advertimos a la comunidad de ciberseguridad contra la confianza ciega en LLM y RAG para el análisis de vulnerabilidades. LEA proporciona a los analistas de seguridad métricas para auditar el flujo de trabajo mejorado de RAG, lo que mejora la transparencia y la fiabilidad de la implementación de la IA en el análisis de amenazas de ciberseguridad.

Takeaways, Limitations

Takeaways:
La atribución basada en incrustación de LLM (LEA) presenta un método para aumentar la confiabilidad mediante el análisis cuantitativo de la contribución del conocimiento interno y la información recuperada en las respuestas de LLM basadas en RAG.
Validamos experimentalmente RAG con una alta precisión de más del 95% y demostramos que puede detectar la recuperación de información errónea.
Proporciona pautas prácticas para la implementación transparente y confiable de la IA en el análisis de amenazas de ciberseguridad.
Limitations:
Es imposible eliminar por completo la posibilidad de errores debido a la recuperación incorrecta de información.
Se necesita más investigación para determinar la generalización del conjunto de 500 datos de vulnerabilidad utilizado en la evaluación.
Se necesita más investigación sobre el desempeño de generalización de LEA a varios sistemas LLM y RAG.
👍