Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

HonestCyberEval : une analyse comparative des cyberrisques liés à l'IA pour l'exploitation automatisée des logiciels

Created by
  • Haebom

Auteur

Dan Ristea, Vasilios Mavroudis

Contour

Présentation d'un nouveau benchmark appelé HonestCyberEval. Ce benchmark est conçu pour évaluer les capacités et les risques des modèles d'IA face à l'exploitation automatisée de logiciels, en se concentrant sur leur capacité à détecter et exploiter les vulnérabilités des systèmes logiciels réels. À l'aide d'un référentiel de serveur web Nginx contenant des vulnérabilités synthétiques, nous avons évalué plusieurs modèles de langages de pointe, notamment GPT-4.5, o3-mini, o1 et o1-mini d'OpenAI ; Claude-3-7-sonnet-20250219, Claude-3.5-sonnet-20241022 et Claude-3.5-sonnet-20240620 d'Anthropic ; Gemini-1.5-pro de Google DeepMind ; et le précédent modèle GPT-4o d'OpenAI. Les résultats montrent des différences significatives dans les taux de réussite et l'efficacité de ces modèles. o1-preview a obtenu le taux de réussite le plus élevé (92,85 %), tandis que o3-mini et Claude-3.7-sonnet-20250219 offraient des alternatives rentables, mais moins performantes. Cette évaluation des risques constitue une base pour l'évaluation systématique des cyberrisques liés à l'IA dans le cadre d'opérations de cyberattaque réalistes.

Takeaways, Limitations_

•
Takeaways:
◦
Nous présentons HonestCyberEval, un nouveau benchmark qui évalue la capacité des modèles d'IA à exploiter les vulnérabilités des systèmes logiciels du monde réel.
◦
Fournit une comparaison et une analyse des capacités d'exploitation automatisée des logiciels de divers modèles de langage de pointe.
◦
Fournit un aperçu de la sélection optimale du modèle en analysant la corrélation entre le taux de réussite du modèle et la rentabilité.
◦
ÉTablir un cadre systématique pour l’évaluation des risques cybernétiques de l’IA dans des scénarios de cyberattaque réalistes.
•
Limitations:
◦
L'évaluation est limitée au serveur Web Nginx et aux vulnérabilités synthétiques, de sorte que la généralisation à d'autres systèmes logiciels ou vulnérabilités du monde réel est limitée.
◦
Les types et versions des modèles linguistiques utilisés dans l'évaluation peuvent être limités. Une évaluation plus approfondie d'un éventail plus large de modèles est nécessaire.
◦
Il convient de prendre en compte le réalisme des vulnérabilités synthétiques et la différence entre elles et les vulnérabilités réelles.
👍
Made with Slashpage