LoRA のような Parameter-Efficient Fine-Tuning (PEFT) 法は低係数分解行列を導入し、学習可能なパラメータの数を大幅に削減します。しかしながら、従来の方法は、ドメイン特化タスクにおいて多くの行列乗算を実行し、計算効率が低く、不十分な微調整性能をもたらす。本稿ではLoSiA(Low-Resources Subnet Integration Adaptation)を提案する。 LoSiAは、学習プロセス中に重要なパラメータを動的に見つけて最適化する革新的な方法です。具体的には、勾配スパース分析を使用してサブネットワークを識別し、それを学習可能なターゲットに最適化します。これらの設計は、サブネットワークパラメータのみを更新し、効果的な高係数適応を可能にし、追加の行列乗算を減らします。また、LoRAより学習遅延時間を約27％短縮するLoSiA-Proを提示します。広範な評価を通じて提案する方法は,全体の微調整と比較して最小限の性能劣化を達成しながら,ドメイン特化および常識推論作業において最短の学習時間を必要とすることを示した。さらなる分析により、LoSiAは継続的な学習中に忘却を減少させることを示している。
