Este artículo presenta un marco de evaluación para sistemas de agentes de IA en situaciones de negociación cruciales. Para abordar la necesidad de agentes de IA que se adapten a diversos operadores y partes interesadas, evaluamos sistemáticamente cómo los rasgos de personalidad y las características de los agentes de IA influyen en los resultados de las negociaciones sociales simuladas con el LLM (Low-Low-Level Management) mediante dos experimentos con el banco de pruebas de simulación Sotopia. Esto es esencial para diversas aplicaciones, como la coordinación entre equipos y las interacciones cívico-militares. En el Experimento 1, utilizamos métodos de descubrimiento causal para medir el impacto de los rasgos de personalidad en las negociaciones de precios, y descubrimos que la amabilidad y la extroversión inciden significativamente en la confiabilidad, el logro de objetivos y la adquisición de conocimientos. Una escala de vocabulario sociocognitivo extraída de la comunicación en equipo detecta diferencias sutiles en la comunicación empática, los fundamentos morales y los patrones de opinión de los agentes, lo que proporciona información práctica para los sistemas de agentes de IA que deben operar de forma fiable en escenarios operativos de alto riesgo. En el Experimento 2, evaluamos las negociaciones laborales entre humanos e IA mediante la manipulación de rasgos de personalidad humanos simulados y características del sistema de IA (específicamente, transparencia, competencia y adaptabilidad) para demostrar cómo la confiabilidad de los agentes de IA influye en la efectividad de la misión. Estos resultados respaldan directamente los requisitos operativos para sistemas de IA robustos al establecer una metodología de evaluación repetible para probar la confiabilidad de los agentes de IA en diversas personalidades de operadores y dinámicas de equipo entre humanos y agentes. Esta investigación impulsa la evaluación de los flujos de trabajo de los agentes de IA, yendo más allá de las métricas de rendimiento estándar e incorporando las dinámicas sociales esenciales para el éxito de la misión en operaciones complejas.
