Quantifying Epistemic Uncertainty in Diffusion Models

Created by

Haebom

저자

Aditi Gupta, Raphael A. Meyer, Yotam Yaniv, Elynn Chen, N. Benjamin Erichson

💡 개요

본 논문은 확산 모델의 생성 결과 품질 보증을 위해 인식 불확실성(epistemic uncertainty)을 정량화하는 중요성을 강조합니다. 기존 방법들이 인식 불확실성과 우연 불확실성(aleatoric uncertainty)을 혼합하여 신뢰도가 낮다는 문제점을 지적하며, Fisher 정보를 기반으로 인식 분산을 명확히 분리하는 새로운 방법을 제안합니다. 이를 위해 모델 파라미터의 무작위 부분집합을 활용하여 Fisher 정보를 근사하는 FLARE(Fisher-Laplace Randomized Estimator)를 제시하며, 합성 시계열 데이터 생성 태스크에서 기존 방법 대비 더 정확하고 신뢰할 수 있는 불확실성 추정 및 필터링 성능을 입증했습니다.

🔑 시사점 및 한계

•

확산 모델의 생성 결과 신뢰성을 높이기 위한 인식 불확실성 정량화의 필요성을 부각하고, Fisher 정보를 활용하여 인식 불확실성을 명확히 분리하는 효과적인 방법론을 제시했습니다.

•

제안된 FLARE 방법은 무작위 샘플링을 통해 Fisher 정보 계산의 확장성을 확보했으며, 실제 실험에서 기존 방법 대비 우수한 불확실성 추정 성능을 보여주었습니다.

•

이론적으로 무작위 근사치의 수렴 속도를 분석하고, 마지막 레이어의 Laplace 근사만으로는 인식 불확실성을 충분히 포착하기 어렵다는 분석을 제공합니다.

PDF 보기

Made with Slashpage