Cet article présente un cadre d'évaluation pour les systèmes d'IA d'agents dans des situations de négociation critiques. Il répond au besoin d'agents d'IA capables de s'adapter à divers opérateurs et parties prenantes. À l'aide de l'environnement de simulation Sotopia, nous évaluons systématiquement l'impact des traits de personnalité et des caractéristiques des agents d'IA sur les résultats des négociations sociales simulées par LLM dans deux expériences, essentielles à diverses applications, notamment la coordination inter-équipes et les interactions civilo-militaires. Dans l'expérience 1, nous utilisons des méthodes de découverte causale pour mesurer l'effet des traits de personnalité sur les négociations de prix. Nous constatons que l'agréabilité et l'extraversion influencent significativement la fiabilité, la réalisation des objectifs et l'acquisition de connaissances. En utilisant une mesure du vocabulaire sociocognitif extraite des communications d'équipe, nous détectons des différences subtiles dans la communication empathique, les fondements moraux et les schémas d'opinion des agents, fournissant ainsi des informations exploitables pour les systèmes d'IA d'agents qui doivent fonctionner de manière fiable dans des scénarios opérationnels à haut risque. Dans l'expérience 2, nous évaluons les négociations d'emploi entre humains et IA en manipulant la personnalité humaine simulée et les caractéristiques des systèmes d'IA (notamment la transparence, la compétence et l'adaptabilité) afin de démontrer l'impact de la fiabilité des agents d'IA sur l'efficacité des missions. Ces résultats soutiennent directement les exigences opérationnelles pour des systèmes d'IA fiables en établissant une méthodologie d'évaluation reproductible permettant de tester la fiabilité des agents IA selon diverses personnalités d'opérateurs et dynamiques d'équipe homme-agent. Cette étude fait progresser l'évaluation des flux de travail des agents IA en allant au-delà des indicateurs de performance standards et en intégrant les dynamiques sociales essentielles à la réussite des missions dans les opérations complexes.
