본 논문은 3DGSim이라는 새로운 학습 기반 3D 시뮬레이터를 제안합니다. 3DGSim은 다중 뷰 RGB 비디오로부터 물리적 상호작용을 직접 학습하여, 깊이 정보나 입자 추적과 같은 특권 정보 없이도 현실적인 시뮬레이션을 가능하게 합니다. MVSplat을 이용하여 3D 장면의 잠재적인 입자 기반 표현을 학습하고, Point Transformer로 입자 역학을 예측하며, Temporal Merging 모듈을 통해 일관된 시간적 집계를 수행하고, Gaussian Splatting으로 새로운 뷰 렌더링을 생성합니다. 역 렌더링과 역학 예측을 공동으로 학습함으로써, 물리적 특성을 점별 잠재 특징에 포함시켜 다양한 물리적 행동(강체부터 탄성, 천과 같은 역학 및 경계 조건 포함)과 현실적인 조명 효과를 포착하고, 보이지 않는 다체 상호 작용과 새로운 장면 편집에도 일반화할 수 있습니다.
