Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Self-Supervised Prompt Optimization

Created by
  • Haebom

作者

Jinyu Xiang, Jiayi Zhang, Zhaoyang Yu, Xinbing Liang, Fengwei Teng, Jinhao Tu, Fashen Ren, Xiangru Tang, Sirui Hong, Chenglin Wu, Yuyu Luo

概要

この論文は、大規模言語モデル(LLM)の推論能力を向上させ、さまざまなドメインでの作業要件との出力整列のためによく設計されたプロンプトの重要性を強調します。従来のプロンプト最適化方法は、正解や人の介入などの外部参照に大きく依存しており、実際のシナリオの適用に制限があります。これを解決するために、この論文は外部参照なしで費用対効果の高いプロンプト最適化フレームワークである磁気マッププロンプト最適化(SPO)を提案します。 SPOはLLM出力比較を介して評価および最適化信号を導出し、LLM評価者を使用したペア別出力比較を使用して優れたプロンプトを選択し、LLMオプティマイザを使用して出力を作業要件に合わせます。実験の結果、SPOは従来の方法よりもコスト(1.1%〜5.6%)とサンプル数(3つ)を大幅に削減しながら同等または優れた性能を達成します。

Takeaways、Limitations

Takeaways:
外部参照なしで効率的にプロンプ​​トを最適化する新しい方法(SPO)を提示します。
従来の方法よりもはるかに少ないコストとサンプル数で優れた性能を達成。
さまざまな作業(閉鎖型および開放型)に適用可能。
LLM自体の能力を活用してプロンプト最適化を自動化。
Limitations:
LLM評価者と最適化者のパフォーマンスに依存する可能性があります。
特定のLLMに最適化された方法である可能性。
さまざまなドメインとジョブタイプの一般化パフォーマンス検証が必要です。
LLM評価者とオプティマイザのエラーが最終結果に影響を与える可能性があります。
👍