Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ArtiScene: Language-Driven Artistic 3D Scene Generation Through Image Intermediary

Created by
  • Haebom

저자

Zeqi Gu, Yin Cui, Zhaoshuo Li, Fangyin Wei, Yunhao Ge, Jinwei Gu, Ming-Yu Liu, Abe Davis, Yifan Ding

개요

본 논문은 텍스트 기반 3D 장면 생성의 어려움을 해결하기 위해, 텍스트-이미지 모델을 활용한 새로운 파이프라인 ArtiScene을 제안합니다. 기존 텍스트-3D 모델의 고품질 3D 데이터 부족 문제를 해결하고자, 먼저 텍스트 입력으로 2D 이미지를 생성하고, 이 이미지에서 추출한 객체의 형태, 외관, 위치 정보를 이용하여 3D 모델을 생성하고 최종 3D 장면을 조립합니다. ArtiScene은 다양한 장면과 스타일을 생성할 수 있으며, 정량적 지표와 사용자 연구, GPT-4 평가에서 기존 최첨단 방식을 능가하는 성능을 보입니다.

시사점, 한계점

•
시사점:
◦
텍스트-이미지 모델의 우수한 성능을 활용하여 3D 장면 생성의 효율성과 품질을 크게 향상시켰습니다.
◦
별도의 학습 없이(training-free) 다양한 스타일과 장면을 생성할 수 있는 자동화된 파이프라인을 제공합니다.
◦
정량적 지표와 사용자 연구를 통해 성능을 검증하였으며, 기존 방식 대비 우수한 결과를 보였습니다.
•
한계점:
◦
2D 이미지에서 3D 정보를 추출하는 과정에서 정확도 저하가 발생할 가능성이 있습니다.
◦
복잡한 3D 장면이나 미묘한 상호작용을 정확하게 표현하는 데 어려움이 있을 수 있습니다.
◦
사용된 텍스트-이미지 모델의 성능에 의존적일 수 있습니다.
👍
Made with Slashpage