저품질 데이터로부터 고품질 생성 모델을 학습시키는 새로운 방법인 잡음 제거 점수 증류(DSD)를 제안합니다. DSD는 먼저 잡음이 포함된 데이터로 확산 모델을 사전 학습한 후, 이를 한 단계 생성자로 증류하여 정제된 깨끗한 출력을 생성합니다. 기존 점수 증류가 확산 모델의 속도 향상을 위한 방법으로 여겨졌던 것과 달리, DSD는 특히 저품질 teacher 모델로부터 시작할 때 샘플 품질을 크게 향상시킬 수 있음을 보여줍니다. 다양한 잡음 수준과 데이터셋에서 DSD는 생성 성능을 일관되게 향상시키며, 선형 모델 설정에서 DSD가 깨끗한 데이터 분포 공분산 행렬의 고유 공간을 식별하여 생성자를 암시적으로 규제함을 이론적으로 보여줍니다. 따라서 점수 증류는 효율성을 위한 도구일 뿐만 아니라, 특히 저품질 데이터 설정에서 생성 모델을 개선하는 메커니즘으로 재해석됩니다.
