본 논문은 다중 작업을 위한 수많은 미세 조정된 모델을 저장하는 데 드는 상당한 저장 공간 오버헤드 문제를 해결하기 위해, 사전 훈련된 모델과 고도로 압축된 델타 가중치(미세 조정된 모델과 사전 훈련된 모델 가중치 간의 차이)만 저장하는 델타 압축 기법인 UltraDelta를 제안합니다. UltraDelta는 데이터를 사용하지 않고도 초고압축과 높은 성능을 동시에 달성하는 최초의 데이터 없는 델타 압축 파이프라인입니다. 세 가지 핵심 구성 요소인 분산 기반 혼합 스파스성 할당, 분포 인식 압축, 트레이스 노름 기반 재조정을 통해 계층 간, 계층 내, 전역 차원에서 중복을 최소화하고 정보를 극대화하며 성능을 안정화합니다. LLaMA-2, RoBERTa, T5, ViT, BEiT 등 다양한 모델(대규모 언어 모델, 일반 NLP 모델, 비전 모델, 다중 모드 모델)에 대한 광범위한 실험 결과, UltraDelta는 기존 방법보다 훨씬 우수한 성능을 보이며, 특히 초고압축 환경에서 그 차이가 두드러짐을 보여줍니다. 최대 133배(LLaMA-2), 800배(RoBERTa, T5), 400배(ViT), 40배(BEiT)의 압축률을 달성했습니다.
