Este artículo explora el concepto de "poder", un concepto clave en la seguridad de la IA. Aborda la búsqueda de poder como objetivo en la IA, la pérdida repentina o gradual del poder humano y el equilibrio de poder en las interacciones entre humanos e IA, así como en la gobernanza internacional de la IA. Simultáneamente, el poder, como capacidad para perseguir múltiples objetivos, es esencial para el bienestar humano. Este artículo explora la idea de promover tanto la seguridad como el bienestar permitiendo que los agentes de IA mejoren explícitamente el poder humano y gestionen el equilibrio de poder entre humanos y agentes de IA de forma deseable. Utilizando un enfoque basado en principios y parcialmente axiomático, diseñamos una función objetivo parametrizable y descomponible que representa la desigualdad de poder humano y la agregación a largo plazo con aversión al riesgo. Esta función objetivo considera la racionalidad humana limitada y las normas sociales, y, de manera importante, la diversidad de objetivos humanos. Derivamos un algoritmo para calcular esta métrica mediante inducción retrógrada o una forma de aprendizaje por refuerzo multiagente a partir de un modelo de mundo dado. Ilustramos los resultados de maximizar (suavemente) esta métrica en diversas situaciones y explicamos los subobjetivos instrumentales que conlleva. Una evaluación cuidadosa sugiere que maximizar suavemente una medida agregada apropiada de la potencia humana puede constituir un objetivo más beneficioso para los sistemas de IA de agentes seguros que un objetivo directo basado en la utilidad.
