Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RQdia: Regularizing Q-Value Distributions With Image Augmentation

Created by
  • Haebom

作者

Sam Lerman, Jing Bi

概要

RQdiaは、ピクセルベースのディープエンハンスメント学習で拡張画像を使用してQ値分布を調整する新しい方法です。 MSEを使用した単純な補助損失関数を使用してQ値分布を均等にすることで、MuJoCo連続制御環境でDrQとSACの性能をそれぞれ12個の課題のうち9個と10個で向上させ、Atariアーケード環境でData-Efficient Rainbowの性能を26個の環境のうち18個で向上させます。改善されたパフォーマンスは、サンプル効率と長期学習の両方で確認されます。さらに、rQdiaを追加することで、ピクセルベースのモデルなしの連続制御がステータスエンコード基準モデルを上回りました。

Takeaways、Limitations

Takeaways:
ピクセルベースの深層強化学習におけるQ値分布規制の効果を示す
DrQ、SAC、Data-Efficient Rainbowアルゴリズムの性能向上
サンプル効率と長期学習性能の向上
ピクセルベースのモデルなしの連続制御のパフォーマンス向上。
Limitations:
MuJoCoとAtari環境でのみ実験進行。
補助損失関数のMSE使用に対する他の損失関数の効果比較研究が必要
RQdiaの計算コストと複雑さの分析が必要
👍