본 논문은 텍스트 프롬프트로부터 고품질 3D 메시를 단 몇 초 만에 생성하는 모델을 얻기 위한 새로운 훈련 기법인 Progressive Rendering Distillation (PRD)을 제안합니다. 기존의 텍스트-이미지 확산 모델(예: Stable Diffusion)을 3D 표현 생성기로 적용하는 방법들은 고품질 3D 훈련 데이터 부족으로 인해 품질이 떨어지는 문제가 있습니다. PRD는 3D 정답 데이터 없이도 다중 뷰 확산 모델을 증류하고 Stable Diffusion을 기본 3D 생성기로 적용하여 이 문제를 해결합니다. 각 훈련 반복에서 U-Net을 사용하여 잠재 변수의 노이즈를 단계적으로 제거하고, 각 단계에서 제거된 노이즈의 잠재 변수를 3D 출력으로 디코딩합니다. MVDream 및 RichDreamer와 같은 다중 뷰 확산 모델과 Stable Diffusion을 함께 사용하여 점수 증류를 통해 텍스트와 일치하는 질감과 기하학적 형태를 3D 출력에 증류합니다. 3D 정답 데이터 없이 훈련이 가능하므로 훈련 데이터를 쉽게 확장하고 창의적인 개념을 가진 어려운 텍스트 프롬프트에 대한 생성 품질을 향상시킬 수 있습니다. 또한, PRD는 몇 단계만으로 생성 모델의 추론 속도를 높일 수 있습니다. 본 논문에서는 PRD를 사용하여 Stable Diffusion을 Triplane 생성에 적용하기 위해 단 2.5%의 훈련 가능한 매개변수만 추가한 Triplane 생성기인 TriplaneTurbo를 훈련시켰습니다. TriplaneTurbo는 효율성과 품질 모두에서 기존의 텍스트-3D 생성기보다 성능이 우수하며, 고품질 3D 메시를 1.2초 만에 생성하고 어려운 텍스트 입력에도 잘 일반화됩니다.
