En este artículo, presentamos Decom-Renorm-Merge (DRM), un método de fusión de modelos para la generación eficiente de modelos multitarea en la era del aprendizaje a gran escala. Los métodos convencionales de fusión de modelos asumen que las entradas en la misma posición en la matriz de ponderaciones realizan la misma función, pero en redes neuronales optimizadas, las neuronas pueden desarrollar diferentes combinaciones de características, lo que dificulta la fusión directa elemento por elemento. DRM utiliza la descomposición en valores singulares (SVD) para descomponer y ajustar la matriz de ponderaciones en un espacio compartido alineado, lo que permite la fusión elemento por elemento. Los resultados experimentales en varios modelos, incluyendo ViT, DeBERTa, T5 y Llama3.1-8B, muestran que DRM supera las técnicas de fusión de vanguardia existentes y, en particular, la renormalización desempeña un papel importante en la generación de un espacio compartido robusto y uniforme.
