본 논문은 어댑터를 통해 사전 훈련된 모델에 ID 특징을 주입하는 대신, 다중 모드 인코딩 전략을 사용하는 ID 보존 생성을 위한 새로운 프레임워크를 제안합니다. 본 방법은 ID와 텍스트를 통합된 조건 입력으로 처리합니다. 이를 위해, ID와 텍스트 의미 모두에 대한 결합 임베딩 공간을 학습하는 다중 모드 인코더인 FaceCLIP을 도입합니다. 참조 얼굴과 텍스트 프롬프트가 주어지면 FaceCLIP은 ID와 텍스트 모두를 인코딩하는 통합 표현을 생성하며, 이는 기본 확산 모델이 ID 일관성과 텍스트 정렬을 갖는 이미지를 생성하도록 조건을 설정합니다. 또한, 얼굴, 텍스트 및 이미지 임베딩 공간과의 결합 표현을 정렬하는 손실을 사용하여 FaceCLIP을 훈련하기 위한 다중 모드 정렬 알고리즘을 제시합니다. 그런 다음 FaceCLIP을 Stable Diffusion XL (SDXL)과 통합하여 ID 보존 이미지 합성 파이프라인인 FaceCLIP-SDXL을 구축합니다. 기존 방법과 비교하여 FaceCLIP-SDXL은 더 나은 ID 보존 및 텍스트 관련성을 가진 사실적인 초상화 생성을 가능하게 합니다. 광범위한 실험은 정량적 및 정성적 우수성을 보여줍니다.
