단일 뷰 이미지에서 고품질의 텍스처 메쉬를 효율적으로 생성하는 새로운 방법인 Wonder3D++를 소개합니다. 이는 Score Distillation Sampling (SDS) 기반의 기존 방법의 시간 소모적인 최적화 및 기하학적 일관성 부족 문제를 해결하고, 빠른 네트워크 추론 기반 방법의 낮은 품질과 세부 정보 부족 문제를 개선합니다. 본 논문에서는 다중 뷰 법선 맵과 해당 컬러 이미지를 생성하는 교차 도메인 확산 모델을 제안합니다. 다중 뷰 간의 정보 교환을 용이하게 하는 다중 뷰 교차 도메인 어텐션 메커니즘을 사용하여 생성의 일관성을 보장합니다. 마지막으로, 약 3분 만에 다중 뷰 2D 표현에서 고품질 표면을 생성하는 계단식 3D 메쉬 추출 알고리즘을 도입합니다.
시사점, 한계점
•
단일 뷰 이미지에서 고품질 3D 재구성을 위한 새로운 방법론 제시
•
SDS 기반 방법의 비효율성 및 일관성 문제를 해결
•
빠른 네트워크 추론 기반 방법의 품질 저하 문제 개선
•
다중 뷰 교차 도메인 어텐션 메커니즘을 통한 생성 일관성 확보
•
계단식 3D 메쉬 추출 알고리즘을 통한 효율적인 3D 표면 생성
•
기존 연구 대비 높은 품질의 재구성 결과, 견고한 일반화, 우수한 효율성 달성
•
한정된 정보(단일 뷰 이미지)를 기반으로 3D 재구성을 수행하기 때문에, 입력 이미지의 품질 및 뷰 각도에 따라 결과의 품질이 제한될 수 있음
