Sebastian Sanokowski, Lukas Gruber, Christoph Bartmann, Sepp Hochreiter, Sebastian Lehner
개요
본 논문은 비정규화 분포에서 샘플링하기 위한 딥러닝 방법인 확산 브릿지에 대해 논의합니다. Log Variance (LV) 손실이 재매개변수화 트릭을 사용하여 rKL-경사를 계산할 때 reverse Kullback-Leibler (rKL) 손실보다 일관되게 우수한 성능을 보인다는 기존 연구의 한계를 지적합니다. 특히, 학습 가능한 확산 계수 또는 확산 브릿지에서는 LV 손실이 데이터 처리 부등식을 통해 rKL 손실과 같이 정당화될 수 없음을 분석합니다. rKL 손실과 로그 미분 트릭을 결합한 rKL-LD를 사용하여 이러한 문제를 해결하고 LV 손실보다 우수한 성능을 달성함을 실험적으로 보입니다.
시사점, 한계점
•
시사점:
◦
확산 브릿지에서 rKL-LD 손실이 LV 손실보다 개념적으로 더 적합하며, 더 나은 성능을 보인다.
◦
rKL-LD 손실은 하이퍼파라미터 최적화가 덜 필요하며, 더 안정적인 학습 동작을 보인다.
