Cette page résume et organise les publications en intelligence artificielle du monde entier. Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif. Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.
Une planification défectueuse des agents matérialisés basés sur des modèles de langage à grande échelle (MLH) présente de sérieux risques de sécurité qui entravent leur déploiement dans des scénarios réels. Les paradigmes d'évaluation statiques et non interactifs existants ne parviennent pas à évaluer correctement les risques dans ces environnements interactifs, car ils ne peuvent pas simuler les risques dynamiques découlant des actions d'un agent et reposent sur des évaluations post-hoc peu fiables qui ignorent les étapes intermédiaires dangereuses. Pour combler cette lacune critique, cet article propose une méthode d'évaluation de la sécurité des interactions d'un agent, c'est-à-dire sa capacité à reconnaître les dangers émergents et à exécuter les mesures d'atténuation dans le bon ordre procédural. C'est pourquoi nous présentons IS-Bench, le premier benchmark de sécurité des interactions multimodales comprenant 161 scénarios complexes impliquant 388 dangers de sécurité uniques, implémentés dans un simulateur haute fidélité. Il facilite une nouvelle évaluation centrée sur les processus, déterminant si les mesures d'atténuation des risques sont mises en œuvre avant ou après une étape risquée spécifique. Des expériences approfondies menées sur des VLM de pointe, notamment les séries GPT-4o et Gemini-2.5, démontrent que les agents actuels manquent de conscience de la sécurité des interactions. Si les chaînes de pensée sécuritaires peuvent améliorer les performances, elles entravent souvent l'exécution des tâches. En mettant en évidence ces limites critiques, IS-Bench pose les bases du développement de systèmes d'IA orientés objet plus sûrs et plus fiables. Le code et les données sont disponibles via ce lien .
Présentation d'IS-Bench, une nouvelle référence pour l'évaluation des risques de sécurité dans les environnements interactifs.
◦
Proposer une méthode d'évaluation orientée processus pour l'évaluation de la sécurité des interactions.
◦
Présentation des résultats d'analyse expérimentale sur le niveau de sécurité d'interaction des principaux VLM.
◦
Fournir une base pour le développement de systèmes d’IA orientés objet plus sûrs et plus fiables.
◦
Assurer la reproductibilité et l'évolutivité de la recherche grâce au code et aux données ouverts.
•
Limitations :
◦
Actuellement, IS-Bench est évalué dans un environnement de simulation haute fidélité. Des recherches supplémentaires sont donc nécessaires pour déterminer sa généralisabilité aux environnements réels.
◦
L'application de l'approche de la chaîne de pensée (CHI) à la sensibilisation à la sécurité s'est avérée problématique, pouvant entraîner une baisse des taux d'achèvement des tâches. Des recherches sont nécessaires pour développer des techniques plus efficaces d'amélioration de la sécurité.
◦
Un examen plus approfondi est nécessaire pour évaluer la diversité et la généralisabilité des scénarios inclus dans l’indice de référence.
