WonderPlay는 단일 이미지로부터 액션에 따라 동적으로 변화하는 3D 장면을 생성하기 위해 물리 시뮬레이션과 비디오 생성을 통합한 새로운 프레임워크입니다. 기존 연구들이 강체 또는 단순한 탄성 동역학에 제한된 반면, WonderPlay는 다양한 3D 동역학을 합성하는 하이브리드 생성 시뮬레이터를 특징으로 합니다. 하이브리드 생성 시뮬레이터는 먼저 물리 엔진을 사용하여 거친 3D 동역학을 시뮬레이션하고, 이후 비디오 생성기를 이용하여 더욱 정교하고 사실적인 움직임을 가진 비디오를 생성합니다. 생성된 비디오는 시뮬레이션된 동적 3D 장면을 업데이트하는 데 사용되며, 물리 엔진과 비디오 생성기 간의 루프를 닫습니다. 이러한 접근 방식을 통해 물리 기반 시뮬레이터의 정확한 동역학과 확산 기반 비디오 생성기의 표현력을 직관적인 사용자 제어와 결합할 수 있습니다. 실험 결과는 WonderPlay를 사용하여 천, 모래, 눈, 액체, 연기, 탄성체 및 강체를 포함한 다양한 콘텐츠의 다양한 장면과 상호 작용할 수 있음을 보여주며, 모두 단일 이미지 입력을 사용합니다. 코드는 공개될 예정입니다.
