본 논문은 다양한 출처의 미세 조정된 기초 모델들을 효율적으로 통합하는 새로운 모델 병합 방법인 Frank-Wolfe Merging (FW-Merging)을 제시합니다. 기존 모델 병합 방법들이 사내 미세 조정 모델에만 초점을 맞추고, 모델 및 작업 정보가 부분적으로 알려지지 않은 다양한 모델 소스에 적응하기 어려우며, 많은 모델 체크포인트를 병합하는 데 어려움을 겪는다는 점을 지적합니다. FW-Merging은 제약 최적화 문제로 모델 병합을 공식화하고, Frank-Wolfe 최적화에서 영감을 얻어 목표 함수의 선형 근사를 최소화하기 위해 반복적으로 가장 관련성이 높은 모델을 선택하고 Frank-Wolfe 업데이트와 유사한 로컬 병합을 실행합니다. 기존 병합 방법과 상호 보완적으로 작동하며 정확도 성능을 향상시키는 것이 특징입니다. 실험 결과, FW-Merging은 다양한 모델 소스에서 확장성을 유지하며, 메모리 오버헤드 없이 16개의 무관한 모델이 있더라도 안정적이며, 20개의 CV 작업에서 16개의 관련 모델을 사용하면 15.3% 향상됨을 보여줍니다. 또한 최첨단 방법과 비교하여 데이터 없는 병합 방법보다 32.8%, 데이터 기반 Adamerging보다 8.39% 성능이 우수함을 확인했습니다.
