본 논문은 추가적인 훈련 없이 여러 전문가 모델을 통합된 모델로 통합하는 다중 작업 모델 병합에 대한 새로운 접근 방식인 CAT Merging(Conflict-Aware Task Merging)을 제안합니다. 기존의 Task Arithmetic과 같은 방법들은 미세 조정된 모델과 사전 훈련된 모델 간의 파라미터 차이인 작업 벡터를 누적하여 모델을 병합하지만, 지식 충돌로 인해 성능 저하가 발생할 수 있습니다. CAT Merging은 이러한 지식 충돌을 해결하기 위해 작업 벡터에서 충돌이 발생하기 쉬운 구성 요소를 선택적으로 제거하는 훈련이 필요 없는 프레임워크입니다. 선형 가중치에 대한 투영과 정규화 계층의 스케일링 및 이동 파라미터에 대한 마스킹과 같은 파라미터별 전략을 도입하여, 비전, 언어, 비전-언어 작업에 대한 광범위한 실험을 통해 기존 최첨단 방법보다 최대 2.5%(ViT-B/32) 및 2.0%(ViT-L/14)의 평균 정확도 향상을 달성했습니다.
