Beyond Parameter Arithmetic: Sparse Complementary Fusion for Distribution-Aware Model Merging

Created by

Haebom

저자

Weihong Lin, Lin Sun, Qilong Shi, Aomufei Yuan, Yuxuan Tian, Zhengyang Wang, Guangxiang Zhao, Xiangzheng Zhang, Tong Yang

💡 개요

본 연구는 기존 가중치 공간 기반 모델 병합 방식의 간섭 문제를 해결하기 위해, 희소하고 분포를 고려한 업데이트를 통해 기능적 간섭을 제어하는 새로운 모델 병합 프레임워크인 Sparse Complementary Fusion with reverse KL (SCF-RKL)을 제안합니다. SCF-RKL은 매개변수 공간의 선형성을 가정하는 대신, 역 KL 발산을 사용하여 모델 간의 기능적 발산을 측정하고 상호 보완적인 매개변수를 선택적으로 통합하여 안정적인 표현을 보존하면서 새로운 기능을 통합합니다. 다양한 모델 규모와 아키텍처, 그리고 추론 및 지시 튜닝 모델에 걸쳐 광범위한 실험을 통해 SCF-RKL이 기존 모델 병합 방법론을 능가하는 성능을 보여주며, 일반화 성능과 생성 안정성을 유지함을 입증했습니다.

🔑 시사점 및 한계

•

매개변수 공간의 선형성에 대한 가정 없이, 모델 간의 기능적 차이를 직접 측정하고 보완적인 매개변수를 희소하게 통합하는 새로운 모델 병합 패러다임을 제시합니다.

•

다양한 규모와 종류의 모델, 광범위한 벤치마크에서 기존 방법 대비 우수한 성능과 안정성을 달성하여 모델 병합 연구의 발전에 기여합니다.

•

제안된 방법론이 역 KL 발산을 사용하여 기능적 발산을 측정하는 만큼, 계산 복잡성 증가 가능성이 있으며, 특정 유형의 모델이나 작업에 대한 효과성이 추가적으로 연구될 필요가 있습니다.

PDF 보기

Made with Slashpage