Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Model-Based Soft Maximization of Suitable Metrics of Long-Term Human Power

Created by
  • Haebom

作者

Jobst Heitzig, Ram Potham

概要

本論文はAIの安全性において重要な概念である「力」について探求する。 AIの目標としての力の追求、人間の突然のまたは漸進的な力の喪失、人間-AIの相互作用、および国際AIガバナンスにおける力のバランスなどを取り上げます。同時に、さまざまな目標を追求する能力としての力は、人間のこんにちは不可欠です。この論文は、AIエージェントが人間の力を明示的に促進し、人間とAIエージェントの間の力のバランスを望ましい方法で管理することによって、安全性とこんにちは両方を促進するというアイデアを探ります。原則的かつ部分的に公理的なアプローチを使用して、人間の力の不平等および危険回避的な長期集合を表すパラメータ化および分解可能な目的関数を設計します。これは、人間の限られた合理性と社会的規範を考慮し、重要なことに、さまざまな人間の目標を考慮します。逆進帰納法を通じて、または与えられた世界モデルからマルチエージェント強化学習の形で対応する尺度を計算するためのアルゴリズムを導きます。さまざまな状況でこの尺度を(スムーズに)最大化する結果を説明し、どのツール的サブ目標を意味するかを説明します。慎重な評価によれば、人間の力の適切な集計尺度をスムーズに最大化することは、直接的なユーティリティベースの目標よりも安全なエージェントAIシステムの有益な目標を構成することができます。

Takeaways、Limitations

Takeaways:
人間の力を増進させることをAIの目標に設定することは、AIの安全性と人間のこんにちはを同時に増進できる新しいアプローチを提示する。
人間の多様な目標と限られた合理性、社会的規範を考慮した、より現実的なAI目標関数設計方案を提供する。
逆進帰納法またはマルチエージェント強化学習を通じて提案された目標関数を計算するアルゴリズムを提示する。
直接ユーティリティの最大化よりも安全なAIシステム設計の可能性を提示します。
Limitations:
「人間の力」を定量化し測定する方法の明確な定義と客観的な指標が不足している。
提案された目標関数のパラメータ設定および最適化方法の具体的な説明は不足している。
さまざまな状況での実際の適用性とその効果の実験的検証が不十分です。
「滑らかな」最大化の具体的な定義とその効果のさらなる分析が必要です。
長期的な安全性と予測不可能性について十分な考慮が必要です。
👍