Este artículo señala que, a pesar de los recientes avances en la generación de texto a vídeo mediante modelos de difusión basados en transformadores a gran escala, los modelos existentes solo generan vídeos cortos y presentan limitaciones en aplicaciones interactivas en tiempo real. En este artículo, proponemos StreamDiT, un modelo de generación de vídeo en streaming en tiempo real. StreamDiT mejora la consistencia del contenido y la calidad de la imagen mediante el aprendizaje basado en la coincidencia de flujo con búferes móviles y el aprendizaje combinado mediante diversos métodos de segmentación de fotogramas de búfer. Adoptamos el modelado basado en adaLN DiT mediante incrustación temporal variacional y atención en ventana, y entrenamos un modelo StreamDiT con 4 mil millones de parámetros. Además, proponemos un método de destilación multietapa personalizado para StreamDiT, que realiza la destilación de muestreo en cada intervalo de segmentación y reduce el número de evaluaciones de funciones para lograr un rendimiento en tiempo real (16 FPS, resolución de 512p). Verificamos el rendimiento mediante indicadores cuantitativos y evaluación humana, y sugerimos su potencial para aplicaciones en tiempo real como la generación de streaming, la generación interactiva y la conversión de vídeo a vídeo.
