ProFashion: Prototype-guided Fashion Video Generation with Multiple Reference Images
Created by
Haebom
Category
Empty
저자
Xianghao Kong, Qiaosong Qi, Yuanbin Wang, Anyi Rao, Biaolong Chen, Aixi Zhang, Si Liu, Hao Jiang
개요
본 논문은 기존 방식의 제한점인 단일 참조 이미지 사용과 부족한 인체 움직임 모델링으로 인한 시야 일관성 및 시간적 일관성 저하 문제를 해결하고자, 다중 참조 이미지를 활용한 패션 영상 생성 프레임워크 ProFashion을 제안합니다. ProFashion은 자세 정보에 따라 전역 및 세밀한 참조 특징을 선택 및 집계하여 프레임별 프로토타입을 생성하는 Pose-aware Prototype Aggregator와, 인체 주요 지점의 움직임 흐름을 활용하여 추가적인 시공간적 어텐션 프로세스를 안내하는 Flow-enhanced Prototype Instantiator를 통해 향상된 시야 일관성 및 시간적 일관성을 달성합니다. MRFashion-7K 데이터셋(논문에서 수집) 및 UBC Fashion 데이터셋에서 기존 방법보다 우수한 성능을 보임을 실험적으로 증명합니다.