본 논문은 다양한 출처의 미세 조정된 기초 모델들을 효율적으로 통합하는 새로운 모델 병합 방법인 Frank-Wolfe Merging (FW-Merging)을 제안합니다. 기존 모델 병합 방법들이 사내 미세 조정 모델에 국한되고, 많은 모델을 병합할 때 확장성이 떨어지는 문제점을 해결하기 위해, FW-Merging은 제약 조건이 있는 최적화 문제로 모델 병합을 공식화합니다. Frank-Wolfe 최적화에서 영감을 받아, FW-Merging은 목적 함수의 선형 근사를 최소화하는 가장 관련성이 높은 모델을 반복적으로 선택하고, Frank-Wolfe 업데이트와 유사한 지역적 병합을 수행합니다. 실험 결과, FW-Merging은 다양한 모델 소스에 걸쳐 확장성이 뛰어나며, 관련 없는 모델 16개를 포함해도 안정적이고, 관련 모델 16개를 사용하면 20개의 CV 작업에서 15.3% 향상을 보였습니다. 또한 기존 최첨단 방법보다 우수한 성능을 보였습니다.
