Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Safe Reinforcement Learning in Black-Box Env​​ironments via Adaptive Shielding

Created by
  • Haebom

作者

Daniel Bethell, Simos Gerasimou, Radu Calinescu, Calum Imrie

概要

本論文は強化学習(RL)エージェントの安全な探索のための新しい後処理技術であるADVICE(Adaptive Shielding with a Contrastive Autoencoder)を提示します。既存の知識のないブラックボックス環境でRLエージェントを訓練する際に発生する安全リスクを軽減することに焦点を当てています。 ADVICEは、状態と行動のペアの安全な機能と不安全な機能を区別し、それによって危険な結果をもたらす可能性の高い行動を実行するのを防ぐためにエージェントを保護します。実験の結果、既存の安全強化学習探索手法に比べて安全違反を約50％減少させながら競争力のある補償結果を達成しました。

Takeaways、Limitations

•
Takeaways：
◦
ブラックボックス環境におけるRLエージェントの安全な探索のための効果的な後処理技術を提示します。
◦
安全違反を大幅に軽減しながら競争力のある性能を達成。
◦
状態と行動のペアの安全性/不安全性の特徴を区別する新しいアプローチを提示します。
•
Limitations:
◦
ADVICEのパフォーマンスは、コントラストオートエンコーダのパフォーマンスに依存する可能性があります。
◦
さまざまな環境と作業の一般化性能に関する追加研究の必要性
◦
実際の世界適用時に発生する可能性がある追加の安全上の問題を考慮する必要があります。
👍
Made with Slashpage