3DGSim은 다중 뷰 RGB 비디오로부터 객체 동역학을 end-to-end로 학습하는 3D 물리 시뮬레이터입니다. 이미지를 3D 가우시안 입자 표현으로 인코딩하고, 트랜스포머를 통해 동역학을 전파하며, 3D 가우시안 스플래팅을 사용하여 프레임을 렌더링합니다. 시간적 인코딩과 병합 계층을 사용하여 역 렌더링과 동역학 트랜스포머를 공동으로 학습함으로써, 명시적인 연결 제약 조건 없이 물리적 특성을 점 단위 잠재 벡터에 포함시킵니다. 이를 통해 강체부터 탄성체 및 천과 같은 상호 작용에 이르기까지 다양한 물리적 동작과 사실적인 조명 효과를 포착하고, 보이지 않는 다체 상호 작용 및 새로운 장면 편집에도 일반화할 수 있습니다. 기존 방법들과 달리 강한 유도적 편향이나 ground-truth 3D 정보에 의존하지 않고 확장성과 일반화 성능을 높였습니다.
