본 논문은 확산 기반 생성 모델의 성능 향상을 위해 새로운 정규화 기법인 'Dispersive Loss'를 제안합니다. 기존 확산 모델들은 회귀 기반 목적 함수에 의존하며 명시적인 정규화가 부족한데, Dispersive Loss는 은닉 공간에서 내부 표현들의 분산을 유도하여 이를 해결합니다. 대조 학습과 유사하지만, 양성 샘플 쌍이 필요 없다는 점이 특징이며, 따라서 회귀에 사용되는 샘플링 과정에 간섭하지 않습니다. 기존의 표현 정렬(REPA) 기법과 비교하여 사전 학습, 추가 매개변수, 외부 데이터가 필요 없다는 장점을 가지며, ImageNet 데이터셋에서 다양한 모델에 대한 실험을 통해 기존 최고 성능 모델들을 능가하는 결과를 보였습니다. 이는 생성 모델링과 표현 학습 간의 간극을 메우는 데 기여할 것으로 기대됩니다.
