본 논문은 추가적인 훈련 없이 여러 전문 모델을 통합된 하나의 모델로 통합하는 다중 작업 모델 병합에 대한 새로운 방법을 제안합니다. 기존 최첨단 기술인 Task Arithmetic과 그 변형들은 미세 조정된 모델과 사전 훈련된 모델 간의 매개변수 차이인 작업 벡터를 누적하여 모델을 병합하지만, 이는 지식 충돌로 인해 성능 저하를 초래할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 지식 충돌이 발생하기 쉬운 구성 요소를 작업 벡터에서 선택적으로 제거하는 새로운 훈련 없는 프레임워크인 Conflict-Aware Task Merging (CAT Merging)을 제안합니다. CAT Merging은 선형 가중치에 대한 투영과 정규화 계층의 스케일링 및 시프팅 매개변수에 대한 마스킹 등 여러 매개변수별 전략을 도입합니다. 비전, 언어 및 비전-언어 작업에 대한 광범위한 실험을 통해 CAT Merging이 지식 충돌을 효과적으로 억제하여 기존 최첨단 방법보다 평균 정확도를 최대 2.5%(ViT-B/32) 및 2.0%(ViT-L/14) 향상시키는 것을 보여줍니다.
