Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

COLLAGE: Adaptive Fusion-based Retrieval for Augmented Policy Learning

Created by
  • Haebom

作者

Sateesh Kumar, Shivin Dass, Georgios Pavlakos, Roberto Mart in-Mart in

概要

本論文では、少数ショットの模倣学習におけるデータ検索の問題について説明します。従来の方法では、視覚、意味、または動作空間で目標デモと最も類似したデモが最良のデモであると仮定して単一の特徴距離ヒューリスティックを使用してデータを取得しますが、これは関連情報の一部のみをキャプチャし、類似のシーンレイアウトによって関連性のないタスクのデータを取得したり、目標が異なるタスクから同様の動作を選択するなど有害なデモを導入することがあります。本論文では、多重手がかりの作業固有の組み合わせに基づいて、関連するデモの選択を導く適応型後期融合メカニズムを使用する少数ショット模倣学習における集合データ集約(COLLAGE)方法を提示します。 COLLAGEは、単一の特徴(外観、外観、言語の類似性など)を使用して、事前に選択されたデータセットのサブセットに重みを割り当て、各サブセットでトレーニングされたポリシーが目標デモでタスクを予測する方法に基づいて重みを指定します。その後、これらの重みを使用してポリシートレーニング中の重要度サンプリングを実行し、推定された関連性に基づいてデータをより緻密またはまれにサンプリングします。 COLLAGEは一般的であり、特徴に拘束されていないため、どの検索ヒューリスティックとして選択されたサブセットの数を組み合わせて、どのサブセットがターゲット操作に最​​大の利点を提供するかを識別できます。広範な実験では、COLLAGEは、シミュレーションで10種類の作業にわたって最先端の検索およびマルチタスク学習方法より5.1%向上し、大規模なDROIDデータセットで検索を行った6つの実際の作業で16.6%向上しました。

Takeaways、Limitations

Takeaways:
複数の特徴を活用した適応型後期融合メカニズムにより、少数ショット模倣学習におけるデータ検索性能を向上させた。
単一の特徴ベースの既存の方法の限界を克服し、無関係なデータ選択による問題を解決しました。
一般的で特徴に縛られない方法で、さまざまなデータセットやタスクに適用可能性を高めました。
シミュレーションと実際の環境の両方で、従来の方法と比較してパフォーマンスの向上を実証しました。
Limitations:
適応型後期融合メカニズムの複雑さにより、計算コストが増加する可能性があります。
使用される単一の特徴の選択は性能に影響を及ぼし得る。最適な特徴の組み合わせを見つけることは依然として課題です。
大規模なデータセットでの効率に関する追加の研究が必要になる場合があります。
👍