本論文は3DGSimと呼ばれる新しい学習ベースの3Dシミュレータを提案する。 3DGSimはマルチビューRGBビデオから物理的相互作用を直接学習し、深さ情報やパーティクルトラッキングなどの特権情報なしで現実的なシミュレーションを可能にします。 MVSplatを使用して3Dシーンの潜在的なパーティクルベースの表現を学習し、Point Transformerでパーティクルダイナミクスを予測し、Temporal Mergingモジュールを介して一貫した時間集計を実行し、Gaussian Splattingで新しいビューレンダリングを作成します。逆レンダリングと力学予測を共同で学習することで、物理特性を点別潜在特徴に含めることで、さまざまな物理行動(剛体から弾性、布などの力学や境界条件を含む)や現実的な照明効果を捉え、見えない多体相互作用や新しいシーン編集にも一般化できます。