본 논문은 확산 모델의 훈련 과정에서 손실 함수의 최적 값이 0이 아니라는 점에 주목하여, 최적 손실 값을 추정함으로써 확산 모델의 훈련 품질을 진단하고 개선하는 방법을 제시합니다. 통합된 확산 모델 공식 하에서 최적 손실을 도출하고, 분산과 편향을 적절히 제어하는 확률적 변형을 포함한 효과적인 추정기를 개발합니다. 이를 통해 주요 확산 모델 변형의 훈련 품질을 진단하는 고유 지표를 제시하고, 최적 손실을 기반으로 성능이 향상된 훈련 일정을 개발합니다. 또한, 1억 2천만에서 15억 개의 파라미터를 가진 모델을 사용하여 실제 훈련 손실에서 최적 손실을 뺀 후에 더 잘 나타나는 멱 법칙을 발견함으로써 확산 모델의 스케일링 법칙을 조사하기 위한 더 원칙적인 설정을 제안합니다.
