OmniPrism: Learning Disentangled Visual Concept for Image Generation

Created by

Haebom

저자

Yangyang Li, Daqing Liu, Wu Liu, Allen He, Xinchen Liu, Yongdong Zhang, Guoqing Jin

💡 개요

기존 이미지 생성 방법론은 단일 개념 생성에 국한되거나 다중 개념 시나리오에서 관련 없는 개념에 의해 쉽게 방해되는 문제가 있었습니다. 본 논문은 이러한 문제를 해결하기 위해 자연어 안내를 통해 분리된 시각적 개념 표현을 학습하고, 이를 확산 모델에 통합하여 창의적인 이미지 생성을 가능하게 하는 OmniPrism을 제안합니다. 제안된 방법은 멀티모달 추출기의 풍부한 의미 공간을 활용하여 이미지 및 개념 안내로부터 개념을 성공적으로 분리하며, 실험 결과 고품질의 개념 분리 결과와 텍스트 프롬프트에 대한 높은 충실도를 보여줍니다.

🔑 시사점 및 한계

•

다중 개념이 혼합된 참조 이미지에서 특정 개념만을 분리하여 원하는 결과물을 생성하는 데 효과적입니다.

•

자연어 안내와 대규모 개념 분리 데이터셋을 활용하여 학습된 분리된 개념 표현은 생성 모델의 창의성과 제어력을 향상시킵니다.

•

학습 데이터셋 구축에 대한 부담이 있으며, 다양한 도메인의 복잡한 개념을 완벽하게 분리하고 제어하는 데 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage