MASS (MoErging through Adaptive Subspace Selection)는 여러 개의 미세 조정된 모델을 추가적인 훈련 오버헤드 없이 단일 매개변수 집합으로 결합하는 경량화된 모델 병합 방법입니다. 기존의 모델 병합 방법은 개별적으로 미세 조정된 모델의 정확도에 미치지 못하는 한계가 있었으나, MASS는 각 작업에 대한 저차원 분해를 기반으로 가장 중요한 특이값 성분만 저장하고 공유 모델에 병합하여 이러한 한계를 극복합니다. 추론 시에는 비모수적이고 데이터가 필요 없는 라우터를 사용하여 입력의 중간 특징을 가장 잘 설명하는 부분 공간(또는 조합)을 식별하고 해당 작업별 블록을 활성화합니다. 이 과정은 완전히 훈련이 필요 없으며, 사전 훈련된 단일 모델에 비해 2회 통과 추론 오버헤드와 약 2배의 저장 공간 증가만 발생합니다. ViT-B-16, ViT-B-32, ViT-L-14를 사용한 CLIP 기반 이미지 분류 작업에서 8, 14, 20개의 작업에 대해 평가한 결과, 최첨단 성능을 달성했습니다. 특히, 개별적으로 미세 조정된 모델의 평균 정확도의 최대 98%를 회복하여 저장 공간 비용의 일부만으로 앙상블에 대한 실용적인 대안을 제공합니다.
