단일 이미지로부터 애니메이션 가능한 3D 인체 재구성은 기하학, 외관, 변형을 분리하는 데 모호성이 존재하기 때문에 어려운 문제입니다. 최근 3D 인체 재구성의 발전은 주로 정적인 인체 모델링에 초점을 맞추고 있으며, 훈련을 위한 합성 3D 스캔에 대한 의존성은 일반화 능력을 제한합니다. 반대로, 최적화 기반 비디오 방법은 더 높은 충실도를 달성하지만 제어된 캡처 조건과 계산적으로 집약적인 개선 프로세스가 필요합니다. 효율적인 정적 재구성을 위한 대규모 재구성 모델의 등장에 착안하여, 본 논문에서는 피드포워드 패스에서 3D Gaussian splatting으로 표현되는 고충실도 아바타를 추론하는 LHM(Large Animatable Human Reconstruction Model)을 제안합니다. 본 모델은 다중 모드 트랜스포머 아키텍처를 활용하여 주의 메커니즘을 통해 인체 자세 특징과 이미지 특징을 효과적으로 인코딩하여 의복 기하학과 질감을 상세하게 보존합니다. 얼굴 정체성 보존과 미세한 디테일 복구를 더욱 향상시키기 위해, 본 논문에서는 머리 영역의 다중 스케일 특징을 집계하는 머리 특징 피라미드 인코딩 방식을 제안합니다. 광범위한 실험 결과, 제안된 LHM은 얼굴과 손에 대한 후처리 없이 몇 초 만에 사실적인 애니메이션 가능한 인체를 생성하며, 재구성 정확도와 일반화 능력 모두에서 기존 방법보다 우수한 성능을 보여줍니다.
시사점, 한계점
•
시사점:
◦
단일 이미지로부터 고충실도의 애니메이션 가능한 3D 인체 모델을 빠르게 생성할 수 있는 새로운 방법을 제시합니다.
◦
다중 모드 트랜스포머와 머리 특징 피라미드 인코딩 방식을 통해 의복의 질감과 얼굴의 디테일을 효과적으로 복원합니다.
◦
후처리 과정 없이도 높은 정확도와 일반화 능력을 보입니다.
•
한계점:
◦
제안된 모델의 성능은 훈련 데이터의 품질에 크게 의존할 수 있습니다.
◦
다양한 자세와 의복 스타일, 조명 조건에 대한 일반화 능력을 더욱 향상시킬 필요가 있습니다.
