Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation

Created by
  • Haebom

作者

Yuan Yin, Shashanka Venkataramanan, Tuan-Hung Vu, Andrei Bursuc, Matthieu Cord

概要

本論文では、LoRAなどのパラメトリックフィフティチューニング（PEFT）法のLimitationsを解決するために、特徴を認識する投影フレームワークであるIPA（Information-Preserving Adaptation）を提案します。 LoRAはランダムに初期化された次元縮小を使用して情報損失を引き起こします。IPAは主な主成分を近似するアルゴリズムによって縮小された隠蔽空間に情報を明示的に保存します。線形の場合、IPAは無視できる推論オーバーヘッドで効率的なプロジェクターの事前学習を可能にします。

Takeaways、Limitations

•
Takeaways：
◦
LoRAのランダム次元縮小の限界を克服し、性能向上を達成する。
◦
Commonsense reasoningやVTAB-1kなどのベンチマークでは、LoRAおよびDoRAと比較して平均1.5点と2.3点の精度向上が見られます。
◦
投影が固定されると、LoRAの半分程度の学習可能なパラメータでLoRAと同等の性能が達成されます。
◦
効率的なプロジェクターの事前学習により、推論オーバーヘッドを最小限に抑えます。
•
Limitations：
◦
現在、線形ケースのIPAアルゴリズムのみが提示されています。非線形の場合の拡張が必要です。
◦
提示されたベンチマーク以外の他の作業における一般化性能のさらなる研究が必要である。
◦
IPAの効率とパフォーマンスの向上は、使用されるデータセットとモデルによって異なります。
👍
Made with Slashpage