본 논문은 제로샷 텍스트-3D 생성 분야에서 텍스트 설명으로부터 직접 3D 콘텐츠를 합성하는 최신 기술을 다룹니다. 기존의 최첨단 방법들은 사전 훈련된 텍스트-이미지(T2I) 모델을 통해 멀티뷰 렌더링을 향상시키는 3D 가우시안 스플래팅과 스코어 증류를 활용하지만, T2I 사전 정보의 고유한 뷰 편향으로 인해 일관성 없는 3D 생성(특히 여러 면을 가진 야누스 문제)이 발생합니다. 이를 해결하기 위해 본 논문은 스코어 증류 과정에서 조건부 및 무조건부 항을 모두 개선하는 새로운 프레임워크인 ConsDreamer를 제안합니다. ConsDreamer는 (1) 무관한 뷰 구성 요소를 분리하고 정확한 카메라 매개변수를 주입하여 조건부 프롬프트의 뷰 편향을 제거하는 뷰 분리 모듈(VDM)과 (2) 방위각 관계와 코사인 유사성을 정렬하여 무조건부 항의 기하학적 일관성을 강화하는 유사성 기반 부분 순서 손실을 사용합니다. 광범위한 실험을 통해 ConsDreamer가 텍스트-3D 생성에서 여러 면을 가진 야누스 문제를 효과적으로 완화하고 시각적 품질과 일관성 모두에서 기존 방법을 능가함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
텍스트-3D 생성에서 뷰 편향 문제인 "멀티-페이스 야누스 문제"를 효과적으로 해결하는 새로운 프레임워크인 ConsDreamer를 제시.
◦
View Disentanglement Module (VDM)과 유사성 기반 부분 순서 손실을 통해 3D 모델의 시각적 품질 및 일관성 향상.
