Cet article présente un cadre d'évaluation pour les systèmes d'IA d'agents dans des situations de négociation critiques. Afin de répondre au besoin d'agents d'IA capables de s'adapter à divers opérateurs et parties prenantes, nous avons systématiquement évalué l'influence des traits de personnalité et des caractéristiques des agents d'IA sur les résultats de négociations sociales simulées avec le LLM (Low-Low-Level Management) à travers deux expériences utilisant le banc d'essai de simulation Sotopia. Ceci est essentiel pour diverses applications, notamment la coordination inter-équipes et les interactions civilo-militaires. Dans l'expérience 1, nous avons utilisé des méthodes de découverte causale pour mesurer l'impact des traits de personnalité sur les négociations de prix, constatant que l'agréabilité et l'extraversion ont un impact significatif sur la fiabilité, la réalisation des objectifs et l'acquisition de connaissances. Une échelle de vocabulaire sociocognitif extraite de la communication d'équipe détecte des différences subtiles dans la communication empathique, les fondements moraux et les schémas d'opinion des agents, fournissant des informations exploitables pour les systèmes d'IA d'agents qui doivent fonctionner de manière fiable dans des scénarios opérationnels à haut risque. Dans l'expérience 2, nous avons évalué les négociations d'emploi entre humains et IA en manipulant des traits de personnalité humains simulés et des caractéristiques de systèmes d'IA (notamment la transparence, la compétence et l'adaptabilité) afin de démontrer l'influence de la fiabilité des agents IA sur l'efficacité des missions. Ces résultats soutiennent directement les exigences opérationnelles de systèmes d'IA robustes en établissant une méthodologie d'évaluation reproductible pour tester la fiabilité des agents IA en fonction de la personnalité des opérateurs et de la dynamique des équipes homme-agent. Cette recherche fait progresser l'évaluation des flux de travail des agents IA en allant au-delà des indicateurs de performance standard et en intégrant les dynamiques sociales essentielles à la réussite des missions complexes.
