इस पत्र में, हम एक मैट्रिक्स ऑर्डरिंग फ्रेमवर्क प्रस्तुत करते हैं जो विभिन्न डीप लर्निंग आर्किटेक्चर (कन्वल्यूशनल, रीकरंट और सेल्फ-अटेंशन) को एकीकृत करता है। हम कन्वल्यूशनल, रीकरंट और सेल्फ-अटेंशन ऑपरेशनों को विरल मैट्रिक्स गुणन के रूप में व्यक्त करते हैं, जिन्हें क्रमशः ऊपरी त्रिकोणीय मैट्रिक्स, निचले त्रिकोणीय मैट्रिक्स और तृतीय-क्रम टेंसर अपघटन के रूप में कार्यान्वित किया जाता है। हम सिद्ध करते हैं कि प्रस्तावित फ्रेमवर्क, कुछ मान्यताओं के तहत, मानक CNN, RNN और ट्रांसफॉर्मर परतों के साथ बीजगणितीय रूप से समरूप है, और प्रयोगात्मक रूप से प्रदर्शित करता है कि यह छवि वर्गीकरण, समय श्रृंखला भविष्यवाणी और भाषा मॉडलिंग/वर्गीकरण कार्यों पर मौजूदा मॉडलों के समान या उससे बेहतर प्रदर्शन करता है। हम आर्किटेक्चरल डिज़ाइन को विरल पैटर्न चयन के लिए सरल बनाते हैं, जिससे हमें GPU समानांतरता और मौजूदा बीजगणितीय अनुकूलन उपकरणों का लाभ उठाने की अनुमति मिलती है।
