Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Vulnerable Agent Identification in Large-Scale Multi-Agent Reinforcement Learning

Created by
  • Haebom

作者

Simin Li, Zheng Yuwei, Zihao Mao, Linhao Wang, Ruixiao Xu, Chengdong Ma, Xin Yu, Yuqing Ma, Qi Dou, Xin Wang, Jie Luo, Bo An, Yaodong Yang, Weifeng Lv, Xianglong Liu

概要

本稿では、大規模マルチエージェント強化学習(MARL)システムにおける部分エージェント障害の問題を解決するために、脆弱なエージェント識別(VAI)問題を研究します。 VAI問題を階層的敵対的分散平均フィールド制御(HAD-MFC)として定義し、上位レベルで最も脆弱なエージェントを選択するNP-hard組み合わせ問題を、下位レベルでは平均フィールドMARLを使用してこれらのエージェントの最悪の場合に敵対的ポリシーを学習する問題について説明します。 Fenchel-Rockafellar変換を使用して階層プロセスを分離して、上位レベルの正規化された平均フィールドBellman演算子を取得し、各レベルで独立した学習を可能にして計算の複雑さを軽減します。次に、上位レベルの組み合わせの問題を、正規化された平均フィールドBellman演算子から密集補償を持つMDPに再構成し、貪欲アルゴリズムと強化学習アルゴリズムを介して順番に最も脆弱なエージェントを特定します。この分解は、もともとHAD-MFCの最適解を保存します。実験結果は,本論文の方法が大規模なMARLとルールベースのシステムでより脆弱なエージェントを効果的に識別し,システムをより深刻な故障に導き,各エージェントの脆弱性を示す価値関数を学習することを示した。

Takeaways、Limitations

Takeaways:
大規模MARLシステムにおける部分エージェント故障問題に対する新しいアプローチの提示
階層的問題を効果的に分解して計算の複雑さを低減する方法を提示
脆弱なエージェントを効果的に識別し、システムの脆弱性を分析する方法の提示
実験を通じて提案した方法の有効性検証
Limitations:
提案された方法の性能は問題の大きさと複雑さに依存する可能性がある
実験は特定のシステムと環境に限定され、一般化の可能性に関するさらなる研究が必要です
NP-hard問題を近似的に解決する方法を使用しているため、最適な解を保証できない
👍