Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

StarFT: Robust Fine-tuning of Zero-shot Models via Spuriosity Alignment

Created by
  • Haebom

作者

Younghyun Kim, Jongheon Jeong, Sangkyung Kwak, Kyungmin Lee, Juho Lee, Jinwoo Shin

概要

本稿では、CLIPなどのゼロショットモデルの堅牢な表現学習が下流の作業に微調整されたときに簡単に低下する問題を解決するために、StarFT(Spurious Textual Alignment Regularization)フレームワークを提案します。既存の研究はドメインの移動に焦点を当てていますが、この論文は限られたデータで微調整されたモデルが背景やテクスチャなどの人間にとって無意味な特徴を学習する傾向に注目しています。 StarFTは潜在的に混乱を引き起こす特徴を強調する代替テキスト記述を生成し、無意味な特徴学習を防ぐ正規化によってゼロショットモデルの堅牢性を向上させます。実験の結果、StarFTは、特にWaterbirdsグループ移動シナリオでは、他の堅牢な微調整基準モデルよりもパフォーマンスが向上することを示した。

Takeaways、Limitations

Takeaways:
ゼロショットモデルの微調整時に発生する剛性低下問題に対する新しい解決策を提示する。
無意味な特徴学習防止によるゼロショットモデルの堅牢性の向上
Waterbirdsグループの移動シナリオで顕著なパフォーマンス向上(最悪のグループ精度14.30%、平均精度3.02%向上)。
ゼロショットグループの堅牢性とゼロショット分類のパフォーマンスを向上させます。
Limitations:
提案された方法の一般化性能に関するさらなる研究の必要性
さまざまな下流の作業やデータセットの追加実験が必要です。
潜在的に混乱を引き起こす特徴を強調する代替テキスト記述生成の正確性への依存性
👍