본 논문은 특정 도메인 내에서 다양한 작업(무조건 생성, 텍스트-이미지 생성, 이미지 편집, 3D 생성 등)을 수행하는 도메인 내 생성에 대해 다룹니다. 기존 연구는 각 작업 및 도메인에 대해 특수한 생성기를 훈련시켜야 했고, 완전히 레이블이 지정된 데이터에 의존하는 경우가 많았습니다. 본 논문은 사전 훈련된 생성 모델을 레이블 없는 데이터를 사용하여 도메인 내 생성에 활용하는 방법을 제시합니다. 사전 훈련된 생성 모델을 도메인 데이터로 미세 조정하는 것은 직관적이지만, 제한된 데이터 다양성으로 인해 모델의 생성 능력이 저하될 수 있습니다. 이 문제를 해결하기 위해, 본 논문은 사전 훈련된 모델의 잡음 제거 안내를 보존하는 데 영감을 받아 이미지 데이터만으로 높은 생성 품질과 제어 성능을 달성하기 위한 안내 분리 사전 보존 메커니즘을 제안합니다. 도메인 관련 안내를 분리하여 개방형 세계 제어 안내 및 무조건 안내를 보존하고, 텍스트가 없는 추가 UNet 복사본을 훈련하여 도메인 안내를 예측하는 효율적인 도메인 지식 학습 기술을 제안합니다. 또한, 여러 생성 모델과 조건으로부터 다양한 안내를 활용하는 다중 안내 도메인 내 생성 파이프라인을 이론적으로 설명합니다. 광범위한 실험을 통해 제안된 방법의 우수성과 다양한 확산 기반 제어 방법 및 응용 프로그램과의 호환성을 보여줍니다.
