The critical slowing down in diffusion models

작성자

Haebom

카테고리

Empty

저자

Luca Maria Del Bono, Giulio Biroli, Patrick Charbonneau, Marylou Gabrie

💡 개요

본 연구는 통계 물리학의 $O(n)$ 모델과 가우시안 극한($n \to \infty$)에서 확산 모델의 학습 및 생성 과정에서 발생하는 '임계 느려짐' 현상을 이론적으로 분석합니다. 단순한 단층 신경망 구조로는 학습 및 생성 속도가 시스템 크기에 따라 이차적으로 느려지는 문제를 발견했으며, 심층 구조와 물리적 국소성 개념을 결합한 2층 신경망 구조를 통해 이 문제를 효과적으로 해결할 수 있음을 보입니다.

🔑 시사점 및 한계

•

확산 모델이 통계 물리학의 임계 현상과 유사한 '임계 느려짐' 문제를 겪을 수 있으며, 이는 특히 단순한 신경망 구조에서 두드러집니다.

•

신경망의 깊이와 구조 설계를 통해 확산 모델의 학습 및 샘플링 속도를 획기적으로 개선할 수 있습니다.

•

물리적 국소성을 반영한 구조 설계를 통해 파라미터 수를 늘리지 않고도 성능을 향상시킬 수 있습니다.

•

본 연구는 특정 모델(O(n) 모델의 가우시안 극한)에 대한 분석이며, 다른 확산 모델이나 복잡한 통계 시스템으로의 일반화 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage