Cet article aborde le risque potentiel de jailbreak des systèmes d'agents intelligents basés sur des modèles multimodaux utilisés dans divers scénarios tels que le contrôle d'appareils mobiles, l'interaction avec des assistants intelligents et l'exécution de tâches multimodales. Un attaquant peut inciter un agent à contourner ses contraintes comportementales initiales par des entrées spécifiques, provoquant ainsi des opérations dangereuses et sensibles telles que la modification de paramètres, l'exécution de commandes non autorisées et l'usurpation d'identité d'utilisateur. Les mesures de sécurité existantes pour les agents intelligents présentent des limites pour détecter les comportements potentiellement dangereux lors d'interactions complexes, notamment lors de multiples cycles de conversations ou séquences de tâches. De plus, il manque des méthodologies automatisées efficaces et cohérentes pour évaluer et déterminer l'impact de ces risques. Cette étude explore les problèmes de sécurité liés aux agents multimodaux mobiles, construit un mécanisme d'identification des risques en intégrant les informations sur les séquences de comportements et conçoit un schéma d'évaluation automatisé du support basé sur un modèle de langage à grande échelle. Grâce à une validation préliminaire sur plusieurs tâches représentatives à haut risque, nous démontrons que la méthode proposée peut améliorer dans une certaine mesure la reconnaissance des comportements dangereux et contribuer à réduire la probabilité de jailbreak des agents. Nous espérons que cette étude pourra fournir une référence précieuse pour la modélisation des risques de sécurité et la protection des systèmes d’agents intelligents multimodaux.
