Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Sécuriser les agents d'IA grâce au contrôle des flux d'informations
Created by
Haebom
Auteur
Manuel Costa, Boris K opf, Aashish Kolluri, Andrew Paverd, Mark Russinovich, Ahmed Salem, Shruti Tople, Lukas Wutschitz, Santiago Zanella-B eguelin
Contour
Cet article explore l'utilisation du contrôle de flux d'informations (IFC) pour se protéger contre des vulnérabilités telles que l'injection rapide afin d'assurer la sécurité d'agents d'IA de plus en plus autonomes et performants. Nous présentons un modèle formel permettant d'inférer la sécurité et l'expressivité des planificateurs d'agents, caractérisons des classes de propriétés applicables grâce au suivi dynamique des souillures et construisons une taxonomie des tâches pour évaluer les compromis entre sécurité et utilité des conceptions de planificateurs. Forts de cette exploration, nous présentons Fides, un planificateur qui suit les étiquettes de confidentialité et d'intégrité, applique de manière déterministe les politiques de sécurité et introduit de nouvelles primitives pour le masquage sélectif d'informations. Les évaluations sur AgentDojo démontrent que cette approche peut accomplir un large éventail de tâches tout en maintenant les garanties de sécurité. Un tutoriel illustrant les concepts présentés dans cet article est disponible à l'adresse https://github.com/microsoft/fides .
Une nouvelle méthode pour renforcer la sécurité contre les vulnérabilités telles que l'injection rapide dans les agents d'IA à l'aide du contrôle de flux d'informations (IFC) est présentée.
◦
Nous fournissons un modèle formel et une classification des tâches pour déduire la sécurité et l'expressivité des planificateurs d'agents.
◦
Développement et validation expérimentale d'un nouveau planificateur, Fides, capable d'appliquer de manière déterministe des politiques de sécurité et de cacher sélectivement des informations.
◦
Les résultats expérimentaux obtenus avec AgentDojo démontrent l’utilité et la large applicabilité de Fides.
•
Limitations:
◦
Une analyse plus approfondie des performances et de l’évolutivité du planificateur Fides est nécessaire.
◦
Des recherches supplémentaires sont nécessaires sur la généralisabilité à travers différents types d’agents d’IA et d’environnements de tâches.
◦
La nécessité d’évaluer la résistance aux menaces et attaques de sécurité complexes qui peuvent survenir dans les applications du monde réel.
◦
Des explications ou des documents supplémentaires au-delà du tutoriel peuvent être nécessaires.
