यह शोधपत्र दीर्घकालिक समय श्रृंखला पूर्वानुमान (LTSF) में ट्रांसफ़ॉर्मर-आधारित मॉडलों की प्रभावशीलता पर चल रही बहस पर पुनर्विचार करता है और PENGUIN (आवधिक-नेस्टेड समूह ध्यान) का प्रस्ताव करता है, जो एक नवीन तंत्र है जो आवधिक पैटर्न मॉडलिंग और सापेक्ष ध्यान पूर्वाग्रह को एकीकृत करने के महत्व पर बल देता है। PENGUIN आवधिक नेस्टेड सापेक्ष ध्यान पूर्वाग्रह का परिचय देता है, जो सीधे आवधिक संरचनाओं को ग्रहण करता है, और एक समूहित ध्यान तंत्र (एक बहु-प्रश्न ध्यान तंत्र का उपयोग करके) को कई अवधियों को संभालने के लिए प्रस्तुत करता है। विभिन्न बेंचमार्क पर किए गए व्यापक प्रयोगों से पता चलता है कि PENGUIN लगातार MLP-आधारित और ट्रांसफ़ॉर्मर-आधारित मॉडलों से बेहतर प्रदर्शन करता है।
