Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

WorldGen: From Text to Traversable and Interactive 3D Worlds

Created by
  • Haebom
Category
Empty

저자

Dilin Wang, Hyunyoung Jung, Tom Monnier, Kihyuk Sohn, Chuhang Zou, Xiaoyu Xiang, Yu-Ying Yeh, Di Liu, Zixuan Huang, Thu Nguyen-Phuoc, Yuchen Fan, Sergiu Oprea, Ziyan Wang, Roman Shapovalov, Nikolaos Sarafianos, Thibault Groueix, Antoine Toisoul, Prithviraj Dhar, Xiao Chu, Minghao Chen, Geon Yeong Park, Mahima Gupta, Yassir Azziz, Rakesh Ranjan, Andrea Vedaldi

WorldGen 논문 요약

개요

본 논문은 텍스트 프롬프트로부터 대규모의 대화형 3D 세계를 자동으로 생성하는 시스템인 WorldGen을 소개합니다. WorldGen은 자연어 설명을 활용하여 표준 게임 엔진에서 즉시 탐험하거나 편집할 수 있는, 완전한 텍스처를 가진 환경으로 변환합니다. LLM 기반의 장면 레이아웃 추론, 절차적 생성, 확산 기반 3D 생성, 객체 인식 장면 분해를 결합하여 창작 의도와 기능적인 가상 공간 사이의 격차를 해소합니다. WorldGen은 수동 모델링이나 전문적인 3D 전문 지식 없이도 창작자가 일관성 있고 탐색 가능한 세계를 디자인할 수 있도록 합니다. 이 시스템은 완전히 모듈화되어 레이아웃, 규모 및 스타일에 대한 세밀한 제어를 지원하며, 기하학적으로 일관되고 시각적으로 풍부하며 실시간으로 렌더링하기 효율적인 세계를 생성합니다. 본 연구는 게임, 시뮬레이션 및 몰입형 소셜 환경과 같은 응용 분야에서 3D 생성 AI의 발전을 도모하며, 대규모의 접근 가능하고 생성적인 세계 구축을 위한 중요한 발걸음을 제시합니다.

시사점, 한계점

시사점:
텍스트 프롬프트 기반의 대규모 3D 세계 자동 생성
LLM, 절차적 생성, 3D 생성 기술의 통합
게임 엔진에서의 즉각적인 탐험 및 편집 가능
다양한 응용 분야 (게임, 시뮬레이션, 몰입형 소셜 환경)
세밀한 제어 및 모듈성을 통한 유연성
한계점:
구체적인 한계점은 논문에 제시되지 않음 (추가 정보 필요)
기술적 난이도 및 구현 복잡성 (추정)
생성된 세계의 창의성 및 사용자 만족도 (추정)
자세한 기술적 구현에 대한 정보 부족 (추정)
👍