自動プロンプトエンジニア（APE）：プロンプトの最適化

自動プロンプトエンジニア（APE）はプロンプトエンジニアリングを自動化する手法で、言語モデルのコマンド生成と選択を自動化し、プロセスを自然言語の合成と最適化の問題として扱います。この方法は、2022年にYongchao Zhouの研究チームが公開した<Large Language Models Are Human-Level Prompt Engineers>研究で提案された方式です。

LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS.pdf3.90MB

APEは次の手順を経ます。

命令候補の生成：言語モデルは、指定されたタスクの複数の命令候補を生成します。

実行と評価：生成された命令をモデルで実行し、スコア関数に基づいてその効果を評価します。

最適化：最も効果的な命令を選択して改善し、言語モデルのパフォーマンスをゼロショットで向上させます。

APEは、手動で作成されたプロンプトよりも優れたパフォーマンスを示すだけでなく、「ステップバイステップのプロンプトを上回り、言語モデルがさまざまなタスクでより効果的な連鎖推論を導くのに役立ちます。これは、Chain of Thought（CoT）などの従来の方法よりも改善されたアプローチを提供します。

たとえば、APEを使用して数学のトラブルシューティングのための命令を生成すると、モデルは次の手順を実行します。

•

問題：「2つの合計が15で、その車が3である2つの数は何ですか？」

•

命令候補の生成：「まず簡単な式を設定しましょう」 /「2つの数をxとyとしましょう。」

•

実行と評価：「X + y = 15」と「x - y = 3」の式を設定して解決します。

•

最適化：最も正確な回答を導いた方法を選択して、他の同様の種類の問題に適用します。

APEを使用するこれらのプロセスは、言語モデルを通じてより正確で効率的な答えを生成し、ユーザーにより良い経験を提供します。 APEは、命令候補を生成して評価し、最適な命令を選択するプロセスを自動化し、人間エンジニアの作業を減らし、言語モデルのパフォーマンスを向上させる上で重要な役割を果たします。

最近はプロンプト自体をLLMに直接作成してもらうという事例も増えて…効用感的には推論が多く必要な場合にのみ有意な結果を出して大きな体感はできません。