본 논문은 텍스트 기반 3D 장면 생성 분야에서 물리적 현실성과 높은 제어성을 갖춘 고품질 생성의 중요성을 강조하며, 기존 방법들의 한계점(복잡한 객체 관계 포착의 어려움, 물리적으로 타당한 장면 레이아웃 생성의 어려움, 구성 장면의 제어성 및 확장성 부족)을 지적합니다. 이를 해결하기 위해, 3D Gaussian Splatting (3DGS)을 활용한 LayoutDreamer 프레임워크를 제시합니다. LayoutDreamer는 텍스트 프롬프트를 유향 장면 그래프로 변환하고, 초기 3D Gaussian의 밀도와 레이아웃을 적응적으로 조정하여 물리적으로 일관된 구성 장면을 생성합니다. 또한, 훈련 초점에 기반한 동적 카메라 조정과 장면 그래프에서 추출된 유향 의존성을 이용한 물리적 및 레이아웃 에너지 조정을 통해 현실성과 유연성을 확보합니다. 실험 결과, LayoutDreamer는 다른 구성 장면 생성 방법들보다 우수한 성능을 보이며, T3Bench의 다중 객체 생성 지표에서 최첨단(SOTA) 성능을 달성했습니다.
