[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

VectorFit : Adaptive Singular & Bias Vector Fine-Tuning of Pre-trained Foundation Models

Created by
  • Haebom

作者

Suhas G Hegde、Silpy Kaur、Aruna Tiwari

概要

本論文は、従来のパラメトリック効果的なファインチューニング(PEFT)法が事前学習された重みを凍結し、低ランクまたは希少な新しい重みを学習する方法でパフォーマンスの向上に限界があるという問題を指摘しています。既存のメソッドは新しい重みを最初から学習するため、パフォーマンスの低下が発生します。これにより、従来のPEFT方法よりもはるかに少ないパラメータ(9倍減少)で全体の微調整と同様の性能を達成し、自然言語の理解と生成、質疑応答、画像分類および生成など、さまざまな作業で優れた性能を示すことを19のデータセットを通じて実験的に証明します。

Takeaways、Limitations

Takeaways:
事前学習された重みの情報を効果的に活用してパラメータ効率を最大化する新しいPEFT法VectorFitを提供します。
従来のPEFT方法よりもはるかに少ないパラメータで高いパフォーマンスを達成し、コンピューティングリソースが限られた環境でも効果的であることを示しています。
さまざまな言語やビジョン作業で優れたパフォーマンスを実証し、幅広いアプリケーションを提供します。
Limitations:
論文で提示された19個のデータセットがVectorFitの一般化性能を完全に保証することを決定することは困難です。より多様で広範なデータセットの追加の実験が必要になる場合があります。
VectorFitのパフォーマンスの向上が特定の種類のモデルまたは操作に限定される可能性を排除することはできません。さまざまなモデルのアーキテクチャと作業に関する追加の研究が必要です。
👍