यह शोधपत्र ट्रांसफ़ॉर्मर-आधारित वृहत्-स्तरीय भाषा मॉडल (एलएलएम) के दीर्घ-पाठ प्रसंस्करण कार्य पर केंद्रित है। एलएलएम लघु-पाठ कार्यों में अच्छा प्रदर्शन करते हैं, लेकिन दीर्घ-पाठ संदर्भों में उनका प्रदर्शन कमज़ोर हो जाता है। इस समस्या का समाधान करने के लिए, हम हाल के अध्ययनों की व्यवस्थित समीक्षा करते हैं और एक वर्गीकरण योजना प्रस्तावित करते हैं जो उन्हें चार प्रकारों में वर्गीकृत करती है: स्थितिगत एन्कोडिंग, संदर्भ संपीड़न, पुनर्प्राप्ति संवर्धन, और ध्यान पैटर्न। इसके अतिरिक्त, हम मौजूदा दीर्घ-पाठ संदर्भ बेंचमार्क के आधार पर प्रासंगिक डेटा, कार्यों और मीट्रिक्स को व्यवस्थित करते हैं, और दीर्घ-पाठ संदर्भ मूल्यांकन पर ध्यान केंद्रित करते हैं, अनसुलझे मुद्दों का सारांश प्रस्तुत करते हैं, और भविष्य के विकास की दिशाओं पर परिप्रेक्ष्य प्रदान करते हैं।