每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

核心空间中准确高效的低秩模型合并

Created by
  • Haebom

作者

Aniello Panariello、Daniel Marczak、Simone Magistri、Angelo Porrello、Bart{\l}omiej Twardowski、Andrew D. Bagdanov、Simone Calderara、Joost van de Weijer

大纲

本文探讨了在大规模神经网络中合并低秩自适应 (LoRA) 所面临的挑战。像 LoRA 这样的参数高效自适应技术的兴起使得模型微调变得更加容易。虽然使用 LoRA 进行模型微调非常高效，但现有的合并方法通常会通过合并全尺寸权重矩阵来牺牲这种效率。本文提出了一个核心空间合并框架，该框架将支持 LoRA 的模型合并在一个共同的对齐基中，显著提高了跨任务的准确率，同时保持了低秩自适应的效率。我们还提供了一个正式的证明，证明投影到核心空间会导致信息丢失，并提供了一个复杂性分析来证明其效率优势。大量的实验结果表明，核心空间显著改进了现有的合并技术，并在视觉和语言任务上都取得了最先进的结果，同时只消耗了极少的计算资源。

Takeaways, Limitations

•
Takeaways：
◦
在保持基于 LoRA 的模型合并效率的同时提高了准确性。
◦
核心空间合并框架的提议。
◦
我们提出了一个正式的证明，即投影到核心空间会导致信息丢失。
◦
在视觉和语言任务中实现优于现有技术的性能。
◦
减少计算资源的使用。
•
Limitations：
◦
论文本身没有提及 Limitations（仅从摘要无法确定）
👍
Made with Slashpage