Bài báo này trình bày một khuôn khổ mới thống nhất các điểm chung của nhiều kiến trúc mạng nơ-ron sâu (tích chập, hồi quy và tự chú ý) thành phép nhân ma trận thưa thớt. Tích chập được biểu diễn dưới dạng phép biến đổi bậc nhất thông qua các ma trận tam giác trên, hồi quy được biểu diễn dưới dạng cập nhật từng bước thông qua các ma trận tam giác dưới và tự chú ý được biểu diễn lần lượt dưới dạng phân tích tenxơ bậc ba. Các tác giả chứng minh phép đồng cấu đại số với các lớp CNN, RNN và Transformer chuẩn dưới các giả định yếu và trình bày kết quả thực nghiệm về phân loại hình ảnh, dự đoán chuỗi thời gian và các tác vụ mô hình hóa/phân loại ngôn ngữ mà các công thức ma trận thưa thớt phù hợp hoặc vượt trội hơn các mô hình hiện có, hội tụ ở số kỷ nguyên tương tự hoặc ít hơn. Cách tiếp cận này đơn giản hóa thiết kế kiến trúc thành lựa chọn mẫu thưa thớt, cho phép song song hóa GPU và sử dụng các công cụ tối ưu hóa đại số hiện có.
