Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods
Created by
Haebom
저자
Wonwoong Cho, Hareesh Ravi, Midhun Harikumar, Vinh Khuc, Krishna Kumar Singh, Jingwan Lu, David I. Inouye, Ajinkya Kale
개요
본 논문은 확산 모델의 제어 가능성을 향상시키기 위해 특징 분리(feature disentanglement)에 초점을 맞춘 새로운 학습 프레임워크인 FDiff를 제안합니다. FDiff는 공간적 콘텐츠 마스크와 평평화된 스타일 임베딩이라는 두 가지 잠재적 특징을 조건으로 확산 모델을 학습시킵니다. 이를 통해 콘텐츠 특징에는 자세/레이아웃 정보를, 스타일 특징에는 의미/스타일 정보를 인코딩합니다. 또한, 조건 입력 간의 독립성 가정을 완화한 일반화된 합성 가능 확산 모델(GCDM)과 콘텐츠 및 스타일 특징에 대한 시간 단계 의존 가중치 스케줄링을 제안하여 생성 이미지의 현실성과 제어 가능성을 향상시킵니다. 실험 결과, 제안된 방법은 기존 방법에 비해 이미지 조작 및 이미지 변환에서 더 나은 제어 가능성을 보여줍니다.
시사점, 한계점
•
시사점:
◦
확산 모델의 특징 분리를 위한 효과적인 학습 프레임워크(FDiff) 제시
◦
현실적인 이미지 생성 및 향상된 제어 가능성을 위한 새로운 샘플링 방법(일반화된 GCDM, 시간 단계 의존 가중치 스케줄링) 제안
