Sign In

Cross-fluctuation phase transitions reveal sampling dynamics in diffusion models

Created by
  • Haebom
Category
Empty

저자

Sai Niranjan Ramachandran, Manish Krishan Lal, Suvrit Sra

개요

본 논문은 score-based diffusion 모델에서 분포의 샘플링 역학이 통계 물리학의 중심 모멘트 통계량인 교차 변동을 사용하여 어떻게 진화하는지 분석합니다. 편향되지 않은 등방성 정규 분포에서 시작하여 샘플이 날카롭고 이산적인 전환을 겪으며, 결국 원하는 분포의 뚜렷한 이벤트를 형성하고 점진적으로 더 미세한 구조를 드러낸다는 것을 보여줍니다. 이 과정은 되돌릴 수 있으므로, 이러한 전환은 중간 상태가 점진적으로 병합되어 초기 분포로 돌아가는 경로를 추적하는 역방향으로도 발생합니다. 이러한 전환은 $n$차 교차 변동의 불연속성으로 감지할 수 있음을 입증합니다. 분산 보존 SDE의 경우, 역방향 궤적에 대해 효율적으로 계산 가능한 이러한 교차 변동에 대한 닫힌 형식을 도출합니다.

시사점, 한계점

교차 변동을 사용하여 샘플링 효율성 향상.
클래스 조건부 및 희귀 클래스 생성 가속화.
비용이 많이 드는 그리드 검색이나 재훈련 없이 이미지 분류 및 스타일 전송과 같은 제로샷 작업 개선.
유한 마르코프 체인의 고전적인 결합과 혼합을 연속 역학으로 통합하고, 확률적 SDE 및 비 마르코프 샘플러로 확장.
이산 마르코프 체인 이론, 위상 분석 및 현대 생성 모델링 간의 연결.
👍