본 논문은 대규모 학습 시대에 효율적인 다중 작업 모델 생성을 위한 모델 병합 방법인 Decom-Renorm-Merge (DRM)을 제시합니다. 기존의 모델 병합 방법은 가중치 행렬의 동일한 위치에 있는 항목이 동일한 기능을 수행한다고 가정하지만, 미세 조정된 신경망에서는 뉴런이 서로 다른 특징 조합을 개발하여 직접적인 항목별 병합이 문제가 될 수 있습니다. DRM은 특이값 분해(SVD)를 활용하여 가중치 행렬을 정렬된 공유 공간으로 분해하고 조정하여 항목별 병합을 가능하게 합니다. ViT, DeBERTa, T5, Llama3.1-8B 등 다양한 모델에 대한 실험 결과, DRM이 기존 최첨단 병합 기술보다 우수한 성능을 보이며, 특히 재정규화(renormalization)가 강력하고 균일한 공유 공간 생성에 중요한 역할을 한다는 것을 보여줍니다.
