본 논문은 텍스트 기반 이미지 변환에서 확산 모델의 성능 향상을 목표로, 특히 텍스트 프롬프트의 효과적인 구성 및 참조 이미지 내용의 정확한 보존에 초점을 맞추고 있습니다. 기존 방법의 한계점으로, 텍스트 프롬프트의 변화에 따른 이미지 품질 저하 및 원치 않는 영역 변형 문제를 지적하며, 이를 해결하기 위해 추가 학습 없이 사전 훈련된 텍스트-이미지 확산 모델을 활용하는 pix2pix-zeroCon 방법을 제안합니다. pix2pix-zeroCon은 패치 단위 대조 손실을 활용하여 텍스트 임베딩 공간에서 편집 방향을 자동으로 결정하고, 크로스 어텐션 가이드 손실 및 패치 단위 대조 손실을 통해 생성 이미지와 원본 이미지 간의 정확한 내용 및 구조 보존을 달성합니다. 실험 결과, 기존 모델보다 향상된 충실도와 제어성을 보이는 것으로 나타났습니다.
