Latent Dataset Distillation with Diffusion Models (LD3M)은 데이터셋을 작은 합성 샘플로 축소하는 기술인 데이터셋 증류를 위한 새로운 방법론입니다. 기존 증류 방식이 GAN이나 오토인코더에 의존하거나 고정된 확산 prior에서 샘플링하는 것과 달리, LD3M은 사전 훈련된 잠재 확산 모델을 통해 gradient 기반의 증류된 잠재 및 클래스 임베딩을 end-to-end 방식으로 학습합니다. LD3M은 선형적으로 감소하는 skip connection을 사용하여 확산 모델 가중치 미세 조정 없이 수십 단계에 걸쳐 gradient 신호를 유지하며, ImageNet subsets에서 기존 SOTA 대비 최대 4.8%p (1 IPC) 및 4.2%p (10 IPC) 향상을 보입니다.
