Este artículo propone el Modelo Unificado de Estados Espacio-Temporales (UST-SSM) para abordar el problema del caos espacio-temporal en vídeos de nubes de puntos. UST-SSM extiende el Modelo Selectivo de Estados Espacio-Temporales (SSM) a los vídeos de nubes de puntos e introduce la técnica de Escaneo Selectivo Espacio-Temporal (STSS), que reconstruye puntos caóticos en secuencias semánticamente reconocidas mediante agrupamiento basado en indicaciones. Además, utiliza la Agregación de Estructuras Espacio-Temporales (STSA) para compensar la información geométrica y de movimiento 4D faltante, y propone el Muestreo de Interacción Temporal (TIS) para mejorar las dependencias temporales de grano fino mediante el aprovechamiento de fotogramas no ancla y la expansión de los campos receptivos. Los resultados experimentales en los conjuntos de datos MSR-Action3D, NTU RGB+D y Synthia 4D demuestran la eficacia del método propuesto. El código fuente está disponible públicamente.