模型合并是一种将多个专家模型组合起来，从而创建一个能够执行多项任务的单一模型的技术。然而，随着专家模型数量的增加，合并带来的收益逐渐减弱，整体性能提升也趋于减弱。本研究从任务算法的角度对此进行了解释和分析。现有的合并方法表明，随着合并过程进展到更多专家模型，相关任务向量空间的秩会下降。为了缓解这个问题，我们提出了子空间提升 (Subspace Boosting)，它作用于奇异值分解任务向量空间并保持任务向量的秩不变。在视觉和语言基准测试中，子空间提升可将多达 20 个专家模型的合并效率提高 10% 以上。此外，我们提出了一种新的、可解释的模型合并视角，即使用高阶广义奇异值分解 (HGSD) 来量化任务相似性。
