Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Dynamic Speculative Agent Planning

Created by
  • Haebom

作者

Yilin Guan, Wenyue Hua, Qingfeng Lan, Sun Fei, Dujian Ding, Devang Acharya, Chi Wang, William Yang Wang

概要

本稿では、大規模言語モデルベースのエージェントの展開における高い遅延時間と推論コストの問題を解決するために、動的予測計画（DSP）と呼ばれる非同期オンライン強化学習フレームワークを提案します。 DSPは、追加の事前展開準備なしで損失のない加速とコスト削減を同時に達成し、エンドツーエンドの遅延時間とコストを一緒に最適化する共同目標を明示的に使用します。ユーザーは単一のパラメータを調整して、高速応答、安価な操作、またはその中間点を選択できます。 2つの標準エージェントベンチマーク実験の結果、DSPは、最速の損失のない加速方法と同様の効率を達成しながら、総コストを30％、不要なコストを最大60％に削減することがわかりました。コードとデータはフラッグハブ（ https://github.com/guanyilin428/Dynamic-Speculative-Planning）で公開されています。

Takeaways、Limitations

•
Takeaways：
◦
大規模言語モデルベースエージェントの遅延時間と推論コスト問題を効果的に解決する新しい方法を提示
◦
損失のない加速化とコスト削減を同時に達成。
◦
ユーザーに遅延とコストの間のトレードオフのための制御を提供する。
◦
追加の事前トレーニングなしで効果的なパフォーマンス向上。
•
Limitations：
◦
提案された方法の一般性と様々なモデルとタスクへの適用性に関するさらなる研究が必要である。
◦
実験は2つの標準ベンチマークに限られており、より広範な実験が必要。
◦
長期的な運用とメンテナンスコストの分析不足。
👍
Made with Slashpage