En este artículo, presentamos un marco de ordenamiento matricial que unifica diversas arquitecturas de aprendizaje profundo (convolucional, recurrente y de autoatención). Expresamos las operaciones convolucionales, recurrentes y de autoatención como multiplicaciones de matrices dispersas, implementadas como matrices triangulares superiores, matrices triangulares inferiores y descomposiciones tensoriales de tercer orden, respectivamente. Demostramos que el marco propuesto es algebraicamente isomorfo con las capas estándar de CNN, RNN y Transformer bajo supuestos moderados, y demostramos experimentalmente que su rendimiento es igual o superior al de los modelos existentes en tareas de clasificación de imágenes, predicción de series temporales y modelado/clasificación de lenguajes. Simplificamos el diseño arquitectónico para la selección de patrones dispersos, lo que nos permite aprovechar el paralelismo de GPU y las herramientas de optimización algebraica existentes.