[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Overcoming Slow Decision Frequencies in Continuous Control: Model-Based Sequence Reinforcement Learning for Model-Free Control

Created by
  • Haebom

作者

Devdhar Patel, Hava Siegelmann

概要

この論文では、シーケンス強化学習（SRL）という新しい強化学習アルゴリズムを紹介します。 SRLは与えられた入力状態に対して一連の行動を生成するように設計されており、低い意思決定頻度でも効果的な制御を可能にします。モデルと行動 - 批評家のアーキテクチャを異なる時間スケールで使用して、行動シーケンス学習の難しさを解決します。特に、批評家は、モデルを使用して基本行動間の中間状態を推定する「時間的再現」メカニズムを提案し、シーケンス内の各行動について学習信号を提供する。学習が完了すると、アクションジェネレータはモデルとは無関係にアクションシーケンスを生成し、遅い頻度でモデルレス制御を達成します。さまざまな意思決定頻度でパフォーマンスをよりよく評価するために周波数平均スコア（FAS）指標を導入し、連続制御操作における従来のアルゴリズムと比較してSRLの卓越性を示します。

Takeaways、Limitations

•
Takeaways:
◦
低い意思決定頻度でも高い性能を達成する強化学習アルゴリズムを提示。
◦
モデルベースのオンライン計画アルゴリズムと比較して同様の性能を示しながら,サンプルの複雑さを大幅に低減
◦
周波数平均スコア（FAS）という新しい評価指標を提示し、さまざまな意思決定頻度での性能比較可能。
◦
実際の環境に適用可能性を高める。
•
Limitations:
◦
提示されたアルゴリズムの一般化性能に関するさらなる研究の必要性
◦
さまざまな環境でのパフォーマンス評価がさらに必要です。
◦
時間的再現メカニズムの効率の詳細な分析の必要性
👍
Made with Slashpage