Cet article propose Progent, un nouveau framework pour répondre aux menaces de sécurité pesant sur les agents LLM (Large-Scale Language Model). Les agents LLM interagissent avec divers outils externes et effectuent des tâches utilisateur, mais sont vulnérables aux attaques telles que l'injection indirecte d'invites, la contamination de la mémoire/base de connaissances et les outils malveillants. Conscient que des permissions excessives sur les outils sont une cause majeure de réussite des attaques, Progent protège les agents en contrôlant les permissions au niveau de l'outil, en autorisant uniquement les appels d'outils nécessaires et en bloquant les appels malveillants. Il prend en charge des politiques de permissions fines, un comportement de secours en cas de blocage des appels et des mises à jour dynamiques des politiques via un langage DSL (langage spécifique au domaine). Il offre une sécurité vérifiable grâce à une exécution déterministe. Sa conception modulaire permet une implémentation sans modification interne de l'agent. Des évaluations utilisant des benchmarks tels qu'AgentDojo, ASB et AgentPoison montrent un taux de réussite des attaques de 0 % tout en préservant la convivialité et la rapidité de l'agent. De plus, nous démontrons que LLM peut générer automatiquement des politiques efficaces, ce qui suggère un potentiel d'automatisation de leur rédaction.
