Variational Control for Guidance in Diffusion Models
Created by
Haebom
저자
Kushagra Pandey, Farrin Marouf Sofian, Felix Draxler, Theofanis Karaletsos, Stephan Mandt
개요
본 논문은 기존 확산 모델의 안내(guidance) 방법들이 추가적인 모델 훈련을 필요로 하거나 특정 작업에 제한되는 문제점을 해결하기 위해, 변분 추론 및 제어 관점에서 확산 모델의 안내를 재검토합니다. 새롭게 제안하는 Diffusion Trajectory Matching (DTM) 방법은 사전 훈련된 확산 궤적을 종단 비용을 만족하도록 안내하는 것을 가능하게 합니다. DTM은 광범위한 안내 방법들을 통합하고 새로운 방법들을 가능하게 하며, 추가적인 모델 훈련이나 픽셀 또는 잠재 공간 확산 모델에 대한 특정성 없이 여러 선형, 비선형 및 블라인드 역문제에서 최첨단 결과를 달성하는 새로운 방법을 제시합니다. 코드는 https://github.com/czi-ai/oc-guidance 에서 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
기존 확산 모델 안내 방법들의 한계점인 추가적인 모델 훈련 필요성 및 특정 작업 제한을 극복.
◦
변분 추론 및 제어 관점에서 확산 모델 안내를 재정의하여 다양한 안내 방법들을 통합하는 DTM 프레임워크 제시.
◦
추가 훈련 없이 선형, 비선형, 블라인드 역문제에서 최첨단 성능 달성.
◦
픽셀 또는 잠재 공간 확산 모델에 대한 특정성 제거.
◦
오픈소스 코드 공개를 통한 접근성 향상.
•
한계점:
◦
논문에서 제시된 DTM 프레임워크의 일반화 성능 및 다양한 작업에 대한 적용 가능성에 대한 추가적인 실험 및 분석이 필요.