본 논문은 기존 생성 모델의 발전에도 불구하고 탐구되지 않은 스케치 생성 문제를 해결하기 위해 새로운 프레임워크인 CoProSketch를 제안합니다. CoProSketch는 확산 모델을 이용하여 스케치 생성에 뛰어난 제어력과 디테일을 제공합니다. 기존의 이진화된 스케치 이미지를 사용한 사전 훈련된 이미지 생성 확산 모델의 미세 조정 방식의 한계를 극복하기 위해, 연속적인 표현인 부호 없는 거리장(UDF)을 스케치 표현에 사용하고, 경량 네트워크를 통해 스케치로 디코딩합니다. 사용자는 경계 상자와 텍스트 프롬프트로부터 대략적인 스케치를 생성하고, 이를 수동으로 편집하여 모델에 다시 입력하여 반복적으로 개선하고, 최종적으로 디테일한 스케치로 디코딩합니다. 또한, 본 논문에서는 훈련 데이터로 사용할 대규모 텍스트-스케치 쌍 데이터셋을 처음으로 제작했습니다. 실험 결과, 기존 방법보다 우수한 의미적 일관성과 제어력을 보이며, 사용자 피드백을 생성 워크플로에 통합하는 실용적인 해결책을 제시합니다.
