Diffusion Adaptive Text Embedding for Text-to-Image Diffusion Models
Created by
Haebom
Category
Empty
저자
Byeonghu Na, Minsang Park, Gyuwon Sim, Donghyeok Shin, HeeSun Bae, Mina Kang, Se Jung Kwon, Wanmo Kang, Il-Chul Moon
개요
본 논문은 텍스트-이미지 확산 모델의 텍스트 임베딩을 동적으로 업데이트하는 Diffusion Adaptive Text Embedding (DATE)를 제안합니다. DATE는 각 확산 단계에서 중간 단계의 데이터에 기반하여 텍스트 임베딩을 업데이트하여 텍스트와 생성된 이미지 간의 정렬을 향상시킵니다. 추가적인 모델 훈련 없이 확산 샘플링 과정에서 텍스트 조건을 동적으로 조정하며, 다중 개념 생성 및 텍스트 기반 이미지 편집과 같은 다양한 작업에서 고정된 텍스트 임베딩보다 우수한 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
텍스트-이미지 정렬의 개선: 각 확산 단계에서 텍스트 임베딩을 동적으로 업데이트하여 텍스트와 생성된 이미지 간의 정렬을 향상시킵니다.
◦
추가적인 모델 훈련 불필요: 기존 모델에 추가적인 훈련 없이 적용 가능합니다.
◦
다양한 작업에서의 성능 향상: 다중 개념 생성 및 텍스트 기반 이미지 편집과 같은 다양한 작업에서 향상된 성능을 보입니다.
◦
이론적 분석 및 실험 결과 제시: DATE의 유효성을 뒷받침하는 이론적 분석과 실험 결과를 제공합니다.
