ETCH: Generalizing Body Fitting to Clothed Humans via Equivariant Tightness
Created by
Haebom
저자
Boqian Li, Haiwen Feng, Zeyu Cai, Michael J. Black, Yuliang Xiu
개요
본 논문은 3D 의류를 입은 인체 포인트 클라우드에 신체를 피팅하는 문제를 해결하기 위해 새로운 파이프라인인 ETCH(Equivariant Tightness Fitting for Clothed Humans)를 제안합니다. 기존의 최적화 기반 방법은 다단계 파이프라인으로 자세 초기화에 민감하며, 최근의 학습 기반 방법은 다양한 자세와 의류 유형에 대한 일반화에 어려움을 겪습니다. ETCH는 의류와 신체 표면 매핑을 국소적으로 근사된 SE(3) 등변성을 통해 추정하고, 신체 표면으로부터의 변위 벡터로서 조임 정도를 인코딩합니다. 이 매핑 이후, 자세 불변성 신체 특징은 드문 신체 마커를 회귀하여 의류를 입은 인체 피팅을 내부 신체 마커 피팅 작업으로 단순화합니다. CAPE 및 4D-Dress에 대한 광범위한 실험 결과, ETCH는 느슨한 의류에 대한 신체 피팅 정확도(16.7% ~ 69.5%) 및 형태 정확도(평균 49.9%) 측면에서 최첨단 방법(조임 정도를 고려하지 않은 방법과 고려한 방법 모두)을 크게 능가함을 보여줍니다. 또한, 등변 조임 설계는 원샷(또는 분포 외) 설정(~1% 데이터)에서 방향 오류를 67.2% ~ 89.8%까지 줄일 수 있습니다. 정성적 결과는 도전적인 자세, 보이지 않는 형태, 느슨한 의류 및 비강체 역학에 관계없이 ETCH의 강력한 일반화를 보여줍니다. 코드와 모델은 https://boqian-li.github.io/ETCH/에서 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
3D 의류를 입은 인체 포인트 클라우드에 대한 신체 피팅 정확도를 크게 향상시켰습니다. (느슨한 의류에서 16.7% ~ 69.5% 향상, 형태 정확도 평균 49.9% 향상)
