Fine-Grained Controllable Apparel Showcase Image Generation via Garment-Centric Outpainting
Created by
- Haebom
Category
Empty
저자
Rong Zhang, Jingnan Wang, Zhiwen Zuo, Jianfeng Dong, Wei Li, Chi Wang, Weiwei Xu, Xun Wang
개요
본 논문에서는 미세 조정 가능한 의류 쇼케이스 이미지 생성을 위해 잠재 확산 모델(LDM) 기반의 새로운 의류 중심 아웃페인팅(GCO) 프레임워크를 제안합니다. 이 프레임워크는 텍스트 프롬프트와 얼굴 이미지를 통해 주어진 의류를 입은 패션 모델을 사용자 지정하는 것을 목표로 합니다. 기존 방법과 달리, 옷을 입은 마네킹이나 사람으로부터 분할된 의류 이미지를 입력으로 받아 의류 변형 학습이 필요 없고 의류 세부 정보를 충실하게 보존합니다. 제안된 프레임워크는 두 단계로 구성됩니다. 첫 번째 단계에서는 의류가 주어지면 다양한 포즈를 생성하는 의류 적응형 포즈 예측 모델을 도입합니다. 그런 다음 두 번째 단계에서 지정된 텍스트 프롬프트와 얼굴 이미지와 함께 의류 및 예측된 포즈를 조건으로 의류 쇼케이스 이미지를 생성합니다. 특히, 다중 스케일 외관 사용자 지정 모듈(MS-ACM)을 설계하여 생성된 모델의 외관에 대한 전반적 및 미세 조정 텍스트 기반 제어를 허용합니다. 또한, 추가 인코더나 모듈을 도입하지 않고 경량 기능 융합 연산을 활용하여 여러 조건을 통합하여 효율성을 높였습니다. 광범위한 실험을 통해 최첨단 방법과 비교하여 제안된 프레임워크의 우수한 성능을 검증했습니다.
시사점, 한계점
•
시사점:
◦
잠재 확산 모델을 이용한 의류 중심 아웃페인팅 프레임워크 제시로 미세 조정 가능한 의류 쇼케이스 이미지 생성 가능
◦
의류 이미지만을 입력으로 사용하여 의류 변형 학습 불필요 및 세부 정보 충실히 보존
◦
다중 스케일 외관 사용자 지정 모듈(MS-ACM)을 통한 전반적 및 미세 조정 텍스트 기반 제어 가능
◦
경량 기능 융합 연산으로 효율적인 다중 조건 통합
◦
최첨단 방법 대비 우수한 성능 검증
•
한계점:
◦
논문에서 구체적인 한계점이나 제한 사항에 대한 언급이 부족함. (추가적인 실험이나 분석을 통해 확인 필요)
◦
실제 의류의 다양한 소재, 질감, 주름 등에 대한 일반화 성능 검증 필요
◦
생성된 이미지의 실제 의류와의 정확도 및 현실감에 대한 추가적인 평가 필요
