Cet article propose un nouveau simulateur 3D basé sur l'apprentissage, 3DGSim. 3DGSim apprend directement les interactions physiques à partir de vidéos RVB multi-vues, permettant des simulations réalistes sans nécessiter d'informations privilégiées telles que la profondeur ou le suivi de particules. Il apprend une représentation latente d'une scène 3D à base de particules grâce à MVSplat, prédit la dynamique des particules grâce au transformateur de points, effectue une agrégation temporelle cohérente grâce au module de fusion temporelle et génère de nouveaux rendus de vue grâce à la projection gaussienne. En apprenant conjointement le rendu inverse et la prédiction dynamique, nous intégrons des propriétés physiques dans des caractéristiques latentes ponctuelles, capturant ainsi un large éventail de comportements physiques (du rigide à l'élastique, en passant par la dynamique de type tissu et les conditions aux limites) et d'effets d'éclairage réalistes, et généralisons ces résultats à des interactions multi-corps inédites et à de nouvelles manipulations de scènes.
