Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

AutoPDL: Automatic Prompt Optimization for LLM Agents

Created by
  • Haebom

作者

Claudio Spiess, Mandana Vaziri, Louis Mandel, Martin Hirzel

概要

本稿では、大規模言語モデル（LLM）のパフォーマンスを向上させるための自動化されたプロンプト最適化技術であるAutoPDLを提案します。 AutoPDLは、さまざまなプロンプトパターン（Zero-Shot、CoT、ReAct、ReWOOなど）といくつかの例を含むプロンプトコンテンツを組み合わせる問題を構造化AutoML問題として定義し、Successive Halving技術を使用して効率的に最適なプロンプト構成を見つける。 PDLプロンプトプログラミング言語を使用して実装されたプロンプトパターンライブラリを利用し、AutoPDLは人間が読み取り、変更し、実行可能なPDLプログラムを生成します。 3つの作業と7つのLLM（30億〜700億パラメータ）の評価の結果、平均9.21±15.46パーセントポイントの精度向上（最大67.5パーセントポイント）が見られ、選択されたプロンプト戦略はモデルと作業によって異なることを確認した。

Takeaways、Limitations

•
Takeaways：
◦
LLMのプロンプトエンジニアリングオートメーションは時間と労力を節約し、人が直接するよりも優れたパフォーマンスを達成できることを示しています。
◦
PDLを使用したプロンプトプログラムは、人間が理解し変更しやすいプロンプトを生成して再利用できるようにします。
◦
さまざまなLLMとタスクに適用可能な一般的なプロンプト最適化方法論を提示します。
◦
モデルと作業によって最適なプロンプト戦略が異なることを実験的に証明。
•
Limitations：
◦
Successive Halving技法の効率は、探索空間のサイズに依存し得る。非常に大きなナビゲーションスペースの場合、最適なプロンプトが見つからない可能性があります。
◦
評価に使用されるLLMと作業の種類が制限的であるため、他のLLMや作業に対する一般化性能はさらなる研究が必要。
◦
PDLプロンプトプログラミング言語の学習が必要な場合があります。
👍
Made with Slashpage