本文提出了一种跨多任务微调大规模预训练语言模型的方法，该方法使用一种兼具参数效率和表达能力的适配器。我们提出了一种新型混合适配器 Kron-LoRA，它将克罗内克分解与传统的低秩 LoRA 压缩相结合。Kron-LoRA 使用的参数比标准 LoRA 减少了多达四倍，同时保持了相似的表达能力。在针对 DistilBERT、Mistral-7B、LLaMA-2-7B 和 LLaMA-3-8B 的八个基准测试上进行的实验表明，Kron-LoRA 的性能与 LoRA 基线模型相当甚至更佳，内存占用更低，速度开销仅为 5-8%。即使进行顺序微调，它也能实现具有竞争力的跨任务迁移性能，同时仅使用适配器参数的四分之一。因此，Kron-LoRA 为大规模语言模型的多任务适配提供了一种可扩展且可持续的解决方案。
