Share
Sign In
アクティブなプロンプト：さまざまな例でパフォーマンスを向上させる
Active-Promptには、従来のCoT方式に比べていくつかの重要な違いがあります。従来のCoT方式は、固定された人が注釈を付けた例にのみ依存しますが、Active-Promptはさまざまなタスクに特定の例示的なプロンプトを動的に適用します。 Active-Prompt方式は、次の手順に従います。
1.
不確実性評価：大規模言語モデル（LLM）を使用して特定のタスクに関する質問を複数回繰り返して複数の可能な答えを生成し、不確実性指標を使用して各質問の不確実性を計算します。使用される不確実性指標には、一致しない回答の数、エントロピー、分散などがあります。
2.
選択：計算された不確実性に基づいて最も不確実な質問を注釈のために選択します。
3.
注釈：選択された質問に対して、人間の注釈が推論プロセスと回答を提供して新しい例を作成します。
4.
推論：新しく注釈付きの例を使用して各質問に対して推論を実行し、最も一貫した答えを選択します。
Active Prompting with Chain-of-Thought for Large Language Models.pdf914.57KB
このプロセスは、既存のCoTスキームが人間のコメントに依存する固定された一連の例に基づいているのとは対照的に、Active-Promptは不確実性を測定して最も有益な質問を動的に選択して注釈し、LLMのパフォーマンスを最大化します。これは、特に複雑な推論作業に適した方法で、さまざまな作業に対するモデルの適応性と精度を向上させることが示されています。
"영희가 장거리 하이킹을 위해 백팩을 싸고 있는데, 그녀는 무엇을 가져가야 할까요?"言語モデルは、この質問に対する複数の推論パスと回答を生成します。たとえば、ハイキングに必要な商品のリストを作成したり、特定の状況に必要な機器を推奨したりできます。生成された複数の回答のうち、不確実性が高いものを選択し、人が推論過程とともに注釈を付けて精製します。
"철수가 10층짜리 호텔에서 방을 예약했습니다. 각 층에는 동일한 방이 10개씩 있는데, 모든 방을 사용할 수 있을까요?"言語モデルはこの質問に対して複数の答えを生成し、その中で最も不確実な答えを選別します。たとえば、モデルは「最後の階は利用できないため、利用可能な部屋は合計90です」と答えることができます。
Active-Prompt方式の核心は、言語モデルが生成した複数の回答の中で最も不確実なものを見つけ、これを人が注釈で補強してより正確で信頼できる結果を得る方法です。
ⓒ 2023. Haebom, all rights reserved.
ソースを表示し、著作権者の許可の下で営利目的で使用することができます。
