본 논문은 확산 모델의 느린 생성 속도 문제를 해결하기 위해, 다단계 확산 모델을 단일 단계 생성 모델로 증류하는 기존 방법을 일반화하는 새로운 프레임워크인 f-distill을 제안합니다. 기존 방법들은 역 KL divergence를 사용하여 분포 일치를 수행하는데, 이는 모드를 찾는 경향이 있습니다. f-distill은 다양한 f-divergence를 사용하여 모드 커버리지와 훈련 분산 간의 절충을 조절할 수 있도록 합니다. 역 KL divergence는 본 프레임워크의 특수한 경우로 포함되며, 실험 결과 forward-KL 및 Jensen-Shannon divergence를 사용하는 f-distill이 기존 최고 성능의 변분 점수 증류 방법들을 능가함을 보여줍니다. 특히 Jensen-Shannon divergence를 사용했을 때 ImageNet64 이미지 생성 및 MS-COCO 제로샷 텍스트-이미지 생성에서 최첨단 성능을 달성합니다.
