본 논문은 다중 작업을 위한 다수의 미세 조정된 모델 저장으로 인한 저장 공간 오버헤드 문제를 해결하기 위해 데이터를 사용하지 않는 새로운 델타 압축 파이프라인인 UltraDelta를 제안합니다. UltraDelta는 기존 방법들의 높은 압축률과 성능 유지의 어려움을 극복하기 위해 분산 기반 혼합 스파스성 할당, 분포 인식 압축, 트레이스 노름 기반 재조정이라는 세 가지 주요 구성 요소를 사용하여 중복성을 최소화하고 정보를 극대화하며 계층 간, 계층 내, 전역 차원에서 성능을 안정화합니다. LLaMA-2, RoBERTa, T5, ViT, BEiT 등 다양한 모델에서 최대 800배까지의 압축률을 달성하며 기존 방법들을 상회하는 성능을 보입니다.