본 논문은 동일한 기반 모델에서 미세 조정된 여러 모델을 메모리 효율적으로 제공하기 위한 다중 모델 압축 관점에서 모델 병합을 재구성합니다. 모델 병합은 작업별 매개변수 조정(델타) 간의 간섭으로 인해 성능 저하가 발생하는 문제점을 가지고 있습니다. 본 논문에서는 모델 검색 중 관련 없는 델타의 합산으로 인해 작업 간섭이 발생한다는 것을 밝히고, 이 문제를 해결하기 위해 무작위 직교 변환을 사용하여 이러한 벡터들을 자기 상쇄되도록 상관 관계를 없앱니다. 이 방법이 시각 및 언어 작업 모두에서 성능을 향상시키는 것을 보여줍니다. 이러한 변환은 무작위 시드에 의해 완전히 정의되므로 새 모델을 추가하는 데 추가 메모리가 필요하지 않습니다. 또한 데이터 및 모델과 무관한 특성으로 인해 최소한의 계산 오버헤드로 모델을 쉽게 추가하거나 제거할 수 있으므로 효율적이고 유연한 다중 모델 제공이 가능합니다.
