每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

LoSiA：通过子网定位和优化实现高效的高秩微调

Created by
  • Haebom

作者

王旭佳、齐云佳、徐斌

大纲

参数高效微调 (PEFT) 方法（例如 LoRA）通过引入低秩分解矩阵显著减少了可学习参数的数量。然而，现有方法在特定领域任务中执行大量矩阵乘法，导致计算效率低下和微调性能不佳。本文提出了低资源子网集成自适应 (LoSiA)，这是一种创新方法，可在训练过程中动态识别和优化重要参数。具体而言，我们使用梯度稀疏性分析来识别子网并将其优化为可学习目标。该设计通过仅更新子网参数来实现有效的高秩自适应，从而减少了额外的矩阵乘法。我们还提出了 LoSiA-Pro，这是 LoSiA 的更快实现，与 LoRA 相比，其训练延迟降低了约 27%。大量的评估结果表明，与完全微调相比，该方法在特定领域和常识推理任务中所需的训练时间最短，同时性能下降最小。进一步的分析证实，LoSiA 还可以减少持续训练过程中的遗忘。源代码可以在https://github.com/KlozeWang/LoSiA找到。

Takeaways, Limitations

•
Takeaways：
◦
提出了一种新方法LoSiA来解决现有PEFT方法计算效率低下的问题。
◦
通过梯度稀疏性分析可以实现有效的子网络优化。
◦
与完全微调相比，最大限度地减少性能下降并减少训练时间。
◦
确认持续学习过程中减少遗忘的效果。
◦
LoSiA-Pro 的实施速度比 LoRA 更快。
•
Limitations：
◦
需要进一步研究来确定本文提出的 LoSiA 性能改进是否可以推广到所有类型的模型和任务。
◦
缺乏对梯度稀疏性分析作为子网络选择标准的 Limitations 的深入讨论。
◦
缺乏根据各种超参数设置对 LoSiA 性能变化的分析。
👍
Made with Slashpage