PersonaCraft는 복잡한 장면에서 여러 개인의 제어 가능하고 폐색에 강건한 전체 신체 개인화 이미지 합성을 위한 프레임워크입니다. 기존 방법들은 폐색이 심한 시나리오와 완전한 신체 개인화에 어려움을 겪는데, 2D 자세 조건화는 3D 기하학이 부족하여 모호한 폐색과 해부학적 왜곡을 초래하고, 많은 접근 방식은 얼굴 신원에만 집중하기 때문입니다. PersonaCraft는 3D 인체 모델링과 확산 모델을 통합하여 SMPLx-ControlNet을 사용하여 깊이 및 노멀 맵과 같은 3D 기하학을 활용하여 강건한 3D 인식 자세 조건화 및 향상된 해부학적 일관성을 제공합니다. 미세한 폐색을 처리하기 위해, 폐색 중심 훈련을 통해 깊이 가장자리 신호를 활용하는 폐색 경계 향상 네트워크와 폐색되지 않은 영역에 영향을 미치지 않고 폐색된 영역에서 조건화를 선택적으로 강화하는 폐색 인식 분류기 없는 안내 전략을 제안합니다. PersonaCraft는 Face Identity ControlNet과 원활하게 결합하여 전신 다중 인물 개인화를 달성하여 얼굴 신원에만 집중하는 이전 접근 방식을 뛰어넘는 중요한 발전을 이룹니다. SMPLx 기반 형태 매개변수와 텍스트 개선을 사용하는 이중 경로 신체 형태 표현은 정확한 전신 개인화 및 사용자 정의 신체 형태 조정을 가능하게 합니다. 광범위한 정량적 실험과 사용자 연구는 PersonaCraft가 정확한 개인화 및 강건한 폐색 처리를 통해 고품질의 다인 이미지를 생성하는 데 있어 기존 방법을 크게 능가함을 보여줍니다.
