Bài báo này đề xuất một trình mô phỏng 3D dựa trên học máy mới, 3DGSim. 3DGSim học trực tiếp các tương tác vật lý từ video RGB đa góc nhìn, cho phép mô phỏng thực tế mà không cần thông tin đặc quyền như thông tin độ sâu hoặc theo dõi hạt. Nó học cách biểu diễn hạt tiềm ẩn của một cảnh 3D bằng MVSplat, dự đoán động lực học của hạt bằng Point Transformer, thực hiện tổng hợp thời gian nhất quán bằng mô-đun Temporal Merging và tạo ra các kết xuất góc nhìn mới bằng phương pháp Gaussian Splatting. Bằng cách kết hợp học kết xuất ngược và dự đoán động lực học, chúng tôi nhúng các đặc tính vật lý vào các đặc điểm tiềm ẩn từng điểm, nắm bắt một loạt các hành vi vật lý (từ cứng đến đàn hồi, bao gồm động lực học giống vải và điều kiện biên) và các hiệu ứng ánh sáng thực tế, đồng thời khái quát hóa thành các tương tác đa vật thể chưa từng thấy và các thao tác cảnh mới lạ.
