Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Spotlighter: Revisiting Prompt Tuning from a Representative Mining View

Created by
  • Haebom

作者

Yutong Gao, Maoyuan Shao, Xinyang Huang, Chuang Zhu, Lijuan Sun, Yu Weng, Xuan Liu, Guoshun Nan

概要

CLIPのプロンプトチューニングの成功に基づいて、不要な演算コストを引き起こす冗長または弱い関連特徴を排除して、精度と効率を同時に向上させる軽量トークン選択フレームワークであるSpotlighterを提案します。 Spotlighterは、サンプル単位と意味単位の観点から各ビジュアルトークンのアクティブ化を評価し、下位予測のために親スコアを受けたトークンのみを保持します。学習されたプロトタイプのクラス別意味メモリバンクはこの選択を改善し、意味的代表性を保証し、捨てられた特徴を補償します。また、情報シグナルを優先するために、トークンとプロトタイプの相互作用に動的に重みを付ける2段階のランキングメカニズムを導入します。 11個の数ショットベンチマークで、Spotlighterは調和平均精度でCLIPより最大11.19%向上し、追加パラメータ21個のみで最大0.8K FPS向上を達成しました。これらの結果は、Spotlighterをプロンプトチューニングのための効果的でスケーラブルな基準として確立します。コードはhttps://github.com/greatest-gourmet/Spotlighterで利用可能です。

Takeaways、Limitations

•
Takeaways：
◦
プロンプトチューニングの精度と効率を同時に向上させる効果的な軽量トークン選択フレームワークを提供します。
◦
サンプル単位と意味単位のトークン活性化評価により、不要な演算コストを削減し、精度を高めます。
◦
クラス別意味 メモリバンクを活用して意味的代表性を確保し、捨てられた特徴を補償します。
◦
2段階のランキングメカニズムを介して情報信号を優先的に検討します。
◦
さまざまなベンチマークでCLIPを上回るパフォーマンスを示しています。
•
Limitations:
◦
提示された方法の一般性の追加の検証が必要な場合がある。
◦
特定のデータセットまたは操作の最適化が必要な場合があります。
◦
メモリバンクのサイズおよび構造に関するさらなる研究が必要となる場合がある。
👍
Made with Slashpage