Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Wonder3D++: Cross-domain Diffusion for High-fidelity 3D Generation from a Single Image

Created by
  • Haebom
Category
Empty

저자

Yuxiao Yang, Xiao-Xiao Long, Zhiyang Dou, Cheng Lin, Yuan Liu, Qingsong Yan, Yuexin Ma, Haoqian Wang, Zhiqiang Wu, Wei Yin

개요

단일 뷰 이미지로부터 고품질 텍스처 메쉬를 효율적으로 생성하는 새로운 방법인 Wonder3D++를 소개합니다. Score Distillation Sampling (SDS) 기반의 최근 방법들은 2D 확산 사전 지식으로부터 3D 형상을 복구할 수 있는 잠재력을 보여주었지만, 일반적으로 시간 소모적인 형상별 최적화와 일관성 없는 형상 문제를 겪습니다. 반면, 일부 연구는 빠른 네트워크 추론을 통해 직접 3D 정보를 생성하지만, 결과는 종종 품질이 낮고 기하학적 세부 정보가 부족합니다. 본 연구에서는 단일 뷰 재구축 작업의 품질, 일관성 및 효율성을 전체적으로 개선하기 위해, 다중 뷰 노멀 맵과 해당 컬러 이미지를 생성하는 교차 도메인 확산 모델을 제안합니다. 생성의 일관성을 보장하기 위해, 뷰와 모달리티 간의 정보 교환을 용이하게 하는 다중 뷰 교차 도메인 어텐션 메커니즘을 사용합니다. 마지막으로, 대략 3분 만에 다중 뷰 2D 표현으로부터 고품질 표면을 도출하는 캐스케이딩 3D 메쉬 추출 알고리즘을 제안합니다. 광범위한 평가를 통해 제안된 방법이 이전 연구에 비해 고품질의 재구성 결과, 강력한 일반화 성능 및 우수한 효율성을 달성함을 보여줍니다.

시사점, 한계점

시사점:
단일 뷰 이미지로부터 고품질 3D 메쉬를 효율적으로 생성하는 새로운 방법을 제시.
SDS 기반 방법의 시간 소모적인 최적화 문제와 기존 네트워크 기반 방법의 품질 문제를 해결.
다중 뷰 교차 도메인 확산 모델과 캐스케이딩 3D 메쉬 추출 알고리즘을 통해 고품질, 일관성 있는 결과를 달성.
기존 연구 대비 우수한 재구성 결과, 일반화 성능 및 효율성을 입증.
한계점:
논문 내용에 명시된 한계점은 없음. (단, 연구의 구체적인 한계점은 추가적인 평가 또는 실제 적용 과정에서 나타날 수 있음)
👍