PFAvatar는 다양한 포즈, 가림, 복잡한 배경을 가진 OOTD(Outfit of the Day) 사진으로부터 고품질 3D 아바타를 재구성하는 새로운 방법입니다. 이 방법은 두 단계로 구성됩니다. 첫 번째 단계는 소수의 OOTD 예시로부터 포즈 인지 확산 모델을 미세 조정하는 것이고, 두 번째 단계는 신경 방사 필드(NeRF)로 표현되는 3D 아바타를 증류하는 것입니다. 전체 신체 외관을 직접 모델링하며, 포즈 추정을 위한 사전 훈련된 ControlNet과 새로운 Condition Prior Preservation Loss (CPPL)를 통합하여, 소수 샷 훈련에서 미세한 디테일을 엔드 투 엔드로 학습하는 동시에 언어 드리프트를 완화합니다. PFAvatar는 5분 안에 개인화를 완료하며, 이전 방식보다 48배 빠릅니다. NeRF 기반 아바타 표현을 사용하고, canonical SMPL-X 공간 샘플링 및 Multi-Resolution 3D-SDS를 통해 최적화합니다. 실험 결과는 PFAvatar가 재구성 충실도, 세부 사항 보존, 가림/절단에 대한 견고성 측면에서 최첨단 방식을 능가하며, 가상 착용, 애니메이션, 인간 비디오 재연과 같은 다운스트림 응용 프로그램을 지원합니다.
