यह शोधपत्र दीर्घ-संदर्भ प्रसंस्करण दक्षता में सुधार हेतु आवर्तक उप-चतुर्भुज मॉडलों में नवीनतम प्रगति का अध्ययन करता है। हम प्रमुख दीर्घ-संदर्भ मॉडलों की जाँच करते हैं, और प्रदर्शन पर निश्चित-आकार की आवर्तक मेमोरी के प्रभाव पर ध्यान केंद्रित करते हैं। प्रायोगिक परिणाम दर्शाते हैं कि ये मॉडल दीर्घ-संदर्भ मॉडलों का कम उपयोग करते हैं, यहाँ तक कि दीर्घ-संदर्भों के साथ प्रशिक्षित होने पर भी। हम प्रदर्शित करते हैं कि एक खंड-आधारित अनुमान प्रक्रिया, जो इनपुट के केवल सबसे प्रासंगिक भागों की पहचान और प्रसंस्करण करती है, आवर्तक मेमोरी विफलताओं को कम करती है और कई दीर्घ-संदर्भ कार्यों के लिए प्रभावी है। लॉन्गबेंच पर, प्रस्तावित विधि Falcon3-Mamba-Inst-7B के प्रदर्शन में 14%, Falcon-Mamba-Inst-7B के प्रदर्शन में 28%, RecurrentGemma-IT-9B के प्रदर्शन में 50%, और RWKV6-Finch-7B के प्रदर्शन में 51% सुधार करती है। उल्लेखनीय रूप से, यह सरल दृष्टिकोण, समान आकार के ट्रांसफ़ॉर्मर्स के साथ प्रतिस्पर्धा करते हुए, मांग वाले लॉन्गबेंच v2 बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त करता है। इसके अलावा, यह तथ्य कि एकल-खंड रणनीति बेहतर प्रदर्शन प्रदान करती है, यह प्रश्न उठाता है कि क्या पुनरावर्ती मॉडल वास्तव में लंबी दूरी की निर्भरता का उपयोग करते हैं।
