टॉप-थीटा (टॉप-θ) अटेंशन, अनुमान के दौरान ट्रांसफॉर्मर अटेंशन को स्पर्सिफाई करने की एक लर्निंग-फ्री विधि है। इसका मूल विचार प्रत्येक हेड के लिए एक स्थिर सीमा को समायोजित करके प्रति अटेंशन पंक्ति महत्वपूर्ण तत्वों की वांछित संख्या बनाए रखना है। यह दृष्टिकोण बिना किसी पुनर्प्रशिक्षण के सामग्री-आधारित स्पर्सिफाई को सक्षम बनाता है और सभी डेटा डोमेन में मज़बूत है। इसके अलावा, आक्रामक स्पर्सिफाई के तहत सटीकता बनाए रखने के लिए एक क्षतिपूर्ति तकनीक को लागू करके, हम टॉप-के अटेंशन के एक व्यावहारिक और सैद्धांतिक विकल्प के रूप में अटेंशन थ्रेशोल्डिंग को स्थापित करते हैं। प्राकृतिक भाषा प्रसंस्करण कार्यों पर व्यापक मूल्यांकन दर्शाते हैं कि टॉप-θ अनुमान के दौरान V-कैश उपयोग को 3-10 गुना कम कर देता है और 10 गुना तक कम अटेंशन तत्वों का उपयोग करता है, जबकि 1% से कम सटीकता में गिरावट प्राप्त करता है।
