यह शोधपत्र मौजूदा ट्रांसफॉर्मर के विस्तारित डॉट-प्रोडक्ट अटेंशन तंत्र की उच्च कम्प्यूटेशनल जटिलता और ऊर्जा खपत को संबोधित करने के लिए, एक नवीन ट्रांसफॉर्मर आर्किटेक्चर, इकोट्रांसफॉर्मर का प्रस्ताव करता है। इकोट्रांसफॉर्मर, लैप्लासियन कर्नेल के साथ कन्वोल्यूशन के माध्यम से आउटपुट संदर्भ वेक्टर उत्पन्न करता है, और क्वेरीज़ और कुंजियों के बीच की दूरी L1 मीट्रिक का उपयोग करके मापी जाती है। डॉट-प्रोडक्ट-आधारित अटेंशन के विपरीत, इकोट्रांसफॉर्मर मैट्रिक्स गुणन को समाप्त करता है, जिससे कम्प्यूटेशनल जटिलता काफी कम हो जाती है। यह एनएलपी, बायोइन्फॉर्मेटिक्स और विज़न कार्यों में मौजूदा विस्तारित डॉट-प्रोडक्ट अटेंशन के समान या उससे बेहतर प्रदर्शन करता है, जबकि ऊर्जा खपत को भी काफी कम करता है।