Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Linear-Time Demonstration Selection for In-Context Learning via Gradient Estimation

Created by
  • Haebom

作者

Ziniu Zhang, Zhenshuo Zhang, Dongyue Li, Lu Wang, Jennifer Dy, Hongyang R. Zhang

概要

本論文は、コンテキスト学習におけるクエリセットのデモ例を選択するアルゴリズムを提示する。 N個の例のうちk個を選択し、downstream推論のための条件として活用する方法を扱います。従来のトークン埋め込み類似性に基づく方法とは異なり、本論文は、入力埋め込み空間における出力の勾配を利用する新しいアプローチを提案する。勾配を使用した一次近似を使用してモデル出力を推定し、複数のランダムに選択されたサブセットにこの推定を適用します。各デモの影響力スコアを計算し、最も関連性の高いk個の例を選択します。モデル出力と勾配は一度だけ事前に計算する必要があるため、モデルとトレーニングセットのサイズに線形時間アルゴリズムを提供します。さまざまなモデルとデータセットの広範な実験で効率を検証し、勾配推定手順は6つのデータセットで1%未満の誤差で完全な推論を近似します。これにより、既存の方法よりも最大37.7倍速くサブセット選択を拡張でき、入力埋め込みベースの既存の選択方法よりも平均11%向上したパフォーマンスが得られます。

Takeaways、Limitations

Takeaways:
入力埋め込みベースの方法より効率的で性能に優れたデモ例選択アルゴリズムの提示
勾配ベースの推定による完全推論の正確な近似を提供する。
大規模モデルでも迅速かつ効率的にデモ例を選択可能。
プロンプトチューニングや事故連鎖推論など、さまざまな用途に活用可能。
Limitations:
勾配ベースの推定は一次近似に基づいているため、複雑なモデルやデータセットでは誤差が増加する可能性があります。
アルゴリズムの効率はモデル出力と勾配の事前計算に依存し、このプロセスにはかなりの計算リソースが必要な場合があります。
特定のモデルとデータセットに最適化されたハイパーパラメータのチューニングが必要な場合があります。
👍