Enhanced Controllability of Diffusion Models via Feature Disentanglement and Realism-Enhanced Sampling Methods
Created by
Haebom
저자
Wonwoong Cho, Hareesh Ravi, Midhun Harikumar, Vinh Khuc, Krishna Kumar Singh, Jingwan Lu, David I. Inouye, Ajinkya Kale
개요
본 논문은 확산 모델의 제어 가능성을 향상시키기 위한 새로운 학습 프레임워크인 Feature Disentanglement for Diffusion Models (FDiff)를 제시합니다. FDiff는 공간적 콘텐츠 마스크와 평평화된 스타일 임베딩이라는 두 가지 잠재적 특징을 조건으로 확산 모델을 학습시킵니다. 이를 통해 포즈/레이아웃 정보는 콘텐츠 특징에, 의미/스타일 정보는 스타일 특징에 인코딩됩니다. 또한, 조건 입력 간의 종속성을 허용하여 컴포저블 확산 모델(CDM)을 일반화한 GCDM(Generalized Composable Diffusion Models)과 콘텐츠 및 스타일 특징에 대한 시간 단계 의존 가중치 스케줄링을 제안하여 생성 이미지의 현실성과 제어 가능성을 향상시킵니다. 실험 결과, 제안된 방법이 기존 방법보다 이미지 조작 및 이미지 변환에서 더 나은 제어 가능성을 보임을 확인했습니다.
시사점, 한계점
•
시사점:
◦
확산 모델의 잠재 공간을 분리하여 제어 가능성을 향상시키는 새로운 학습 프레임워크(FDiff) 제시.
◦
현실적인 이미지 생성과 제어 가능성 향상을 위한 GCDM 및 시간 단계 의존 가중치 스케줄링 기법 제안.
◦
이미지 조작 및 이미지 변환 작업에서 기존 방법보다 우수한 성능과 제어 가능성을 입증.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 실험이 필요할 수 있음.
◦
특정 유형의 데이터에 대한 최적화 가능성으로 인해 다른 데이터셋으로의 일반화 성능이 저하될 수 있음.
◦
잠재 공간 분리의 완벽성 및 GCDM의 종속성 모델링의 한계에 대한 추가적인 분석이 필요할 수 있음.
