Este artículo propone un novedoso simulador 3D basado en aprendizaje, 3DGSim. 3DGSim aprende directamente las interacciones físicas de vídeo RGB multivista, lo que permite simulaciones realistas sin necesidad de información privilegiada como la información de profundidad o el seguimiento de partículas. Aprende una representación de partículas latentes de una escena 3D mediante MVSplat, predice la dinámica de partículas con el Transformador de Puntos, realiza agregación temporal consistente con el módulo de Fusión Temporal y genera nuevas representaciones de vistas mediante Dispersión Gaussiana. Al aprender conjuntamente la representación inversa y la predicción de dinámicas, integramos propiedades físicas en características latentes puntuales, capturando una amplia gama de comportamientos físicos (desde rígidos hasta elásticos, incluyendo dinámicas similares a las de la tela y condiciones de contorno) y efectos de iluminación realistas, y generalizamos a interacciones multicuerpo nunca antes vistas y nuevas manipulaciones de escenas.