Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

ÉValuation LLM basée sur la génération augmentée de récupération pour l'inférence de machine à états de protocole avec raisonnement par chaîne de pensée

Created by
  • Haebom

Auteur

Youssef Maklad, Farès Wael, Wael Elsersy, Ali Hamdi

Contour

Cet article présente une nouvelle méthode d'évaluation de l'efficacité d'une architecture de modèle de langage à grande échelle (LLM) basé sur des agents et basée sur RAG pour la génération et l'augmentation de graines de paquets réseau. Utilisant la technique d'incitation par chaîne de pensée (COT), la méthode proposée se concentre sur l'amélioration de la qualité structurelle des graines afin de guider le cadre de fuzzing du protocole pour explorer en profondeur l'espace d'état du protocole. La méthode référence dynamiquement la base de connaissances du document RFC (Request for Comments) pour répondre aux questions sur la machine à états finis (FSM) du protocole en utilisant RAG et l'intégration de texte, puis déduit itérativement les connaissances récupérées pour améliorer la sortie et placer les graines de manière appropriée. Les paquets générés sont ensuite comparés aux paquets réels afin d'évaluer la qualité structurelle de la réponse de la sortie de l'agent en fonction de métriques telles que BLEU, ROUGE et le taux d'erreur de mot (WER). Les résultats expérimentaux montrent que la méthode proposée améliore le BLEU jusqu'à 18,19 %, le ROUGE jusqu'à 14,81 % et le WER jusqu'à 23,45 % par rapport au modèle de référence. Ces résultats confirment le potentiel de cette approche pour améliorer les cadres de fuzzing de protocoles basés sur LLM afin d'identifier les vulnérabilités cachées.

Takeaways, Limitations_

Takeaways:
Nous démontrons que la combinaison des invites RAG et COT peut améliorer l’efficacité du fuzzing de protocole basé sur LLM.
Nous présentons une métrique permettant d’évaluer quantitativement la qualité des paquets générés.
Des améliorations significatives des performances ont été obtenues par rapport aux modèles existants dans les indices BLEU, ROUGE et WER.
Contribue au développement d'une technologie de découverte de vulnérabilités de sécurité réseau basée sur LLM.
Limitations:
Limites des bases de connaissances reposant uniquement sur des documents RFC. L'extensibilité est nécessaire pour intégrer des informations provenant de sources diverses.
Les indices d'évaluation BLEU, ROUGE et WER ne reflètent peut-être pas parfaitement la précision structurelle des paquets. Des indices d'évaluation plus complets doivent être développés.
Seuls les résultats expérimentaux pour un protocole spécifique sont présentés, des recherches supplémentaires sont donc nécessaires pour déterminer la généralisabilité.
Manque de validation des performances dans les scénarios d’attaque réels.
👍