यह शोधपत्र एक नवीन शिक्षण-आधारित 3D सिम्युलेटर, 3DGSim, का प्रस्ताव करता है। 3DGSim बहु-दृश्य RGB वीडियो से भौतिक अंतःक्रियाओं को सीधे सीखता है, जिससे गहराई की जानकारी या कण ट्रैकिंग जैसी विशिष्ट जानकारी की आवश्यकता के बिना यथार्थवादी सिमुलेशन संभव हो जाता है। यह MVSplat का उपयोग करके एक 3D दृश्य का एक अव्यक्त कण-आधारित निरूपण सीखता है, बिंदु ट्रांसफार्मर से कण गतिकी का पूर्वानुमान करता है, टेम्पोरल मर्जिंग मॉड्यूल के साथ सुसंगत टेम्पोरल एकत्रीकरण करता है, और गॉसियन स्प्लैटिंग का उपयोग करके नए दृश्य रेंडरिंग उत्पन्न करता है। व्युत्क्रम रेंडरिंग और गतिकी पूर्वानुमान को संयुक्त रूप से सीखकर, हम भौतिक गुणों को बिंदु-वार अव्यक्त विशेषताओं में समाहित करते हैं, भौतिक व्यवहारों की एक विस्तृत श्रृंखला (कठोर से लेकर प्रत्यास्थ तक, जिसमें कपड़े जैसी गतिकी और सीमांत स्थितियाँ शामिल हैं) और यथार्थवादी प्रकाश प्रभावों को ग्रहण करते हैं, और अदृश्य बहु-शरीर अंतःक्रियाओं और नवीन दृश्य हेरफेरों को सामान्यीकृत करते हैं।
