Cet article explore le concept de « pouvoir », un concept clé de la sécurité de l'IA. Il aborde la quête de pouvoir comme objectif en IA, la perte soudaine ou progressive du pouvoir humain, ainsi que l'équilibre des pouvoirs dans les interactions homme-IA et la gouvernance internationale de l'IA. Simultanément, le pouvoir, en tant que capacité à poursuivre des objectifs multiples, est essentiel au bien-être humain. Cet article explore l'idée de promouvoir à la fois la sécurité et le bien-être en permettant aux agents d'IA d'améliorer explicitement le pouvoir humain et de gérer l'équilibre des pouvoirs entre humains et agents d'IA de manière souhaitable. En utilisant une approche raisonnée et partiellement axiomatique, nous concevons une fonction objective paramétrable et décomposable qui représente l'inégalité du pouvoir humain et l'agrégation à long terme de l'aversion au risque. Cette fonction objective prend en compte la rationalité humaine limitée et les normes sociales, et surtout, la diversité des objectifs humains. Nous dérivons un algorithme pour calculer cette métrique par induction rétrograde ou par une forme d'apprentissage par renforcement multi-agents à partir d'un modèle mondial donné. Nous illustrons les résultats de la maximisation (en douceur) de cette mesure dans diverses situations et expliquons les sous-objectifs instrumentaux qu'elle implique. Une évaluation minutieuse suggère que la maximisation progressive d'une mesure agrégée appropriée de la puissance humaine pourrait constituer un objectif plus bénéfique pour les systèmes d'IA à agents sûrs qu'un objectif directement basé sur l'utilité.
