本論文はAIの安全性において重要な概念である「力」について探求する。 AIの目標としての力の追求、人間の突然のまたは漸進的な力の喪失、人間-AIの相互作用、および国際AIガバナンスにおける力のバランスなどを取り上げます。同時に、さまざまな目標を追求する能力としての力は、人間のこんにちは不可欠です。この論文は、AIエージェントが人間の力を明示的に促進し、人間とAIエージェントの間の力のバランスを望ましい方法で管理することによって、安全性とこんにちは両方を促進するというアイデアを探ります。原則的かつ部分的に公理的なアプローチを使用して、人間の力の不平等および危険回避的な長期集合を表すパラメータ化および分解可能な目的関数を設計します。これは、人間の限られた合理性と社会的規範を考慮し、重要なことに、さまざまな人間の目標を考慮します。逆進帰納法を通じて、または与えられた世界モデルからマルチエージェント強化学習の形で対応する尺度を計算するためのアルゴリズムを導きます。さまざまな状況でこの尺度を(スムーズに)最大化する結果を説明し、どのツール的サブ目標を意味するかを説明します。慎重な評価によれば、人間の力の適切な集計尺度をスムーズに最大化することは、直接的なユーティリティベースの目標よりも安全なエージェントAIシステムの有益な目標を構成することができます。