Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

SENSEI: Semantic Exploration Guided by Foundation Models to Learn Versatile World Models

Created by
  • Haebom

作者

Cansu Sancaktar, Christian Gumbsch, Andrii Zadaianchuk, Pavel Kolev, Georg Martius

概要

この論文は、強化学習における効果的な探索戦略として、意味論的に妥当な探索(SENSEI)フレームワークを提案します。従来の内的動機付け方式が低レベルの相互作用にとどまる限界を克服するために、ビジョン言語モデル(VLM)の注釈から得られた「興味深い」補償信号を利用します。モデルベースの強化学習を通じて、SENSEIは意味論的補償と不確実性を同時に最大化するナビゲーション方針を学びます。ロボットシミュレーションとビデオゲームシミュレーションで、画像観測と低レベルの行動からさまざまな意味のある行動を見つけることを示しています。これは、強力なVLMから学習する一般的なツールを提供します。

Takeaways、Limitations

Takeaways:
既存の内的動機付け方式の限界(低レベル相互作用)を克服する新しいアプローチを提示する。
VLMを活用して意味のある高レベルの行動を導く効果的な方法を提示
モデルベースの強化学習とVLMを組み合わせることで、シミュレーション環境でさまざまな意味のある行動学習の成功。
強力になるVLMを活用した強化学習研究に重要な方向づけ。
Limitations:
VLMアノテーションへの依存性が高い。 VLMの性能によっては、SENSEIの性能が大きく影響を受ける可能性があります。
現在はシミュレーション環境でのみ評価されているので、実際のロボット環境への移行の可能性に関するさらなる研究が必要である。
高水準行動の定義と評価基準の明確な基準設定が必要
👍