저품질 데이터로부터 고품질 생성 모델을 학습시키는 새로운 방법인 잡음 제거 점수 증류(DSD)를 제안합니다. DSD는 먼저 잡음이 포함된 저품질 데이터로 확산 모델을 사전 학습한 후, 이를 고품질의 결과물을 생성하는 단일 단계 생성기로 증류합니다. 기존의 점수 증류가 확산 모델의 속도 향상에 초점을 맞춘 것과 달리, DSD는 특히 저품질의 teacher 모델을 사용할 때 샘플 품질을 크게 향상시키는 것을 보여줍니다. 다양한 잡음 수준과 데이터셋에서 DSD는 생성 성능을 지속적으로 향상시키며, 선형 모델 설정에서 DSD가 깨끗한 데이터 분포 공분산 행렬의 고유 공간을 식별하여 생성기를 암묵적으로 규제함을 이론적으로 보여줍니다. 따라서 점수 증류는 효율성 향상뿐 아니라 저품질 데이터 설정에서 생성 모델 개선을 위한 메커니즘으로도 기능함을 보여줍니다.
