본 논문은 사전 훈련된 일반적인 Transformer 모델을 이용하여 데이터 압축 성능을 평가하는 대규모 실험 연구를 수행했습니다. 텍스트, 이미지, 오디오 데이터와 그 조합으로 구성된 165GB의 데이터로 모델을 훈련시키고, 각 모달리티에 대한 1GB의 분포 외(OOD) 데이터를 압축했습니다. 기존의 압축 알고리즘(gzip, LZMA2, PNG, JPEG-XL, FLAC)과 비교하여, 수백만 개의 매개변수를 가진 비교적 작은 모델이 경쟁력 있는 압축률을 달성할 수 있음을 발견했습니다. 특히, OOD 오디오 데이터에서 FLAC(0.54)보다 낮은 0.49의 압축률을 달성했습니다. 모델 및 데이터셋 규모의 영향, 그리고 단일 모달리티 대 다중 모달리티 훈련의 효과를 연구하기 위해 광범위한 ablation study와 hyperparameter sweep을 수행했습니다. 결과적으로 작은 모델도 다중 모달리티에서 우수한 성능을 보일 수 있지만, 대규모 기반 모델과 달리 미지의 모달리티로의 전이 학습은 일반적으로 약하다는 것을 확인했습니다.
