Este artículo presenta un nuevo marco que unifica las características comunes de varias arquitecturas de redes neuronales profundas (convolucionales, recurrentes y de autoatención) en la multiplicación de matrices dispersas. La convolución se representa como una transformación de primer orden mediante matrices triangulares superiores, la recurrente se representa como una actualización gradual mediante matrices triangulares inferiores y la autoatención se representa como una descomposición tensorial de tercer orden, respectivamente. Los autores demuestran isomorfismo algebraico con capas estándar de CNN, RNN y Transformer bajo supuestos débiles, y muestran resultados experimentales en tareas de clasificación de imágenes, predicción de series temporales y modelado/clasificación de lenguajes que indican que las formulaciones de matrices dispersas igualan o superan a los modelos existentes, convergiendo en un número similar o menor de épocas. Este enfoque simplifica el diseño de la arquitectura en una selección de patrones dispersa, lo que permite la paralelización de GPU y el uso de herramientas de optimización algebraica existentes.
