每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

LLM 持续学习中正交子空间适配器调整的自适应预算分配

Created by
  • Haebom

作者

万志一、杜婉柔、李亮、潘淼、秦晓琪

大纲

本文提出了一种新的参数高效方法——OA-Adapter，它结合了动态预算分配和正交子空间学习，旨在解决大规模语言模型（LLM）在持续学习（CL）场景中出现的灾难性遗忘问题。OA-Adapter 引入了一种动态瓶颈维度自适应机制，以高效地分配参数预算，并通过正交约束有效地保留了先前任务中的知识。实验结果表明，OA-Adapter 在准确率和参数效率方面均优于现有方法。

Takeaways, Limitations

•
Takeaways：
◦
解决法学硕士持续学习中灾难性遗忘问题的新方法。
◦
通过整合动态预算分配和正交子空间学习实现高效的参数使用。
◦
与最先进的方法相比，性能更优越（准确性和参数效率）。
•
Limitations：
◦
论文本身没有具体提及 Limitations。
◦
然而，可能需要进一步研究来扩展和推广研究结果。
👍
Made with Slashpage