Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

MoSE: Skill-by-Skill Mixture-of-Experts Learning for Embodied Autonomous Machines

Created by
  • Haebom

作者

Lu Xu, Jiaqian Yu, Xiongfeng Peng, Yiwei Chen, Weiming Li, Jaewook Yoo, Sunghyun Chunag, Dongwook Lee, Daehyun Ji, Chao Zhang

概要

本論文では、効率的でインテリジェントな組み込みAIシステムの需要を高めるために、新しい混合専門家(MoE)法であるMoSEを提案します。既存のMoEモデルの欠点である膨大なトレーニングデータと複雑な最適化プロセスを解決するために、MoSEは人間の学習と推論プロセスを模倣して、技術単位、段階的な学習を実行します。特定のスキルを定義し、注釈を付けて、専門家がさまざまなシナリオと推論作業に必要な能力を識別できるようにすることで、スキル固有の学習を容易にします。階層的な技術データセットを構築し、ルータを事前に訓練し、段階的な推論を促進し、自律走行(AD)の知覚 - 予測 - 計画とロボットの高/低レベル計画などの補助作業を追加の計算コストなしで単一の配信プロセスに統合します。 30億個未満の希少に活性化されたパラメータでさまざまな専門知識を効果的に拡張し、従来モデルよりも少ないパラメータ(40%未満)でADコーナーケース推論作業とロボット推論作業の両方で性能を凌駕します。

Takeaways、Limitations

Takeaways:
組み込みAIシステムの推論と学習効率を大幅に向上させる新しいMoE法(MoSE)の提示
技術中心のルーティングメカニズムによる効率的な技術別学習と多様な専門性の確保
階層的な技術データセットと事前訓練されたルータを介した段階的な推論の導出
追加の計算コストなしでさまざまな補助作業を統合します。
従来モデルよりも少ないパラメータで優れた性能を達成。
Limitations:
提案されたMoSEモデルの一般化性能の追加検証が必要です。
特定の技術に対する注釈と定義作業の努力とコストの考慮
様々な組込みAIシステムの適用性と拡張性に関するさらなる研究が必要
実際の環境での Robustness と安全性の評価が必要です。
👍