Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning

Created by
  • Haebom

作者

Simin Li, Zheng Yuwei, Zihao Mao, Linhao Wang, Ruixiao Xu, Chengdong Ma, Xin Yu, Yuqing Ma, Qi Dou, Xin Wang, Jie Luo, Bo An, Yaodong Yang, Weifeng Lv, Xianglong Liu

概要

本稿では、大規模マルチエージェント強化学習(MARL)システムにおける部分エージェント障害の問題を解決するために、脆弱なエージェント識別(VAI)問題を研究します。 VAIの問題を階層的敵対的分散平均フィールド制御(HAD-MFC)として定義し、上位レベルで最も脆弱なエージェントを選択するNP-hard組み合わせ問題を、下位レベルでは平均フィールドMARLを使用してこれらのエージェントの最悪の場合に敵対的ポリシーを学習します。 HAD-MFCの計算の複雑さを減らすために、Fenchel-Rockafellar変換を使用して階層プロセスを分離し、上位レベルの正規化された平均フィールドBellman演算子を導出して、各レベルで独立した学習を可能にします。次に、上位レベルの組み合わせの問題を、正規化された平均長のBellman演算子から密集補償を持つMDPに再構成し、貪欲アルゴリズムと強化学習アルゴリズムを介して順番に最も脆弱なエージェントを識別します。この分解は、もともとHAD-MFCの最適解を保存する。実験結果は,本方法は,大規模MARLとルールベースのシステムでより脆弱なエージェントを効果的に識別し,システムをより深刻な故障に導き,各エージェントの脆弱性を明らかにする価値関数を学習することを示した。

Takeaways、Limitations

Takeaways:
大規模MARLシステムにおける部分エージェント故障問題に対する効果的な解決策の提示
Fenchel‐Rockafellar変換を用いた階層的問題分解による計算の複雑さの低減
貪欲なアルゴリズムと強化学習による脆弱なエージェントの逐次識別可能
各エージェントの脆弱性を示す価値関数学習。
Limitations:
提案された方法の実際のシステム適用のための追加の検証が必要です。
さまざまなタイプのエージェントと環境の一般化パフォーマンス評価が必要です。
NP-hard問題の近似解法による最適解保証のための追加分析の必要性
👍