Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Retrieval-Augmented Decision Transformer: External Memory for In-context RL

Created by
  • Haebom

作者

Thomas Schmied, Fabian Paischer, Vihang Patil, Markus Hofmarcher, Razvan Pascanu, Sepp Hochreiter

概要

この論文は、強化学習(RL)環境におけるコンテキスト内学習(ICL)の限界を克服するために、過去の経験から現在の状況に関連する部分パスのみを検索するメモリメカニズムを使用するRetrieval-Augmented Decision Transformer(RA-DT)を提案します。 RA-DTは、トレーニングを必要としないドメイン非依存の検索コンポーネントを使用し、グリッドワールド環境、ロボットシミュレーション、手続き的に生成されたビデオゲームで従来の方法よりも優れたパフォーマンスを発揮します。特に、短い文脈長さだけでも高い性能を達成する。この論文は、複雑な環境における既存のICL法の限界を明らかにし、今後の研究方向を提示し、使用された4つの環境のデータセットを公開します。

Takeaways、Limitations

Takeaways:
強化学習における文脈内学習の効率性を高める新しい方法(RA-DT)提示。
複雑な環境での長いエピソードの問題を効果的に解決
ドメイン非依存の検索メカニズムによる多様な環境への適用可能性の向上
関連データセットの開示による今後の研究活性化の貢献
Limitations:
提案された方法の性能評価は、特定の環境(グリッドワールド、ロボットシミュレーション、ビデオゲーム)に限定される。
より複雑で多様な環境での一般化性能検証が必要です。
検索メカニズムの効率とスケーラビリティに関するさらなる分析の必要性
👍