इस पत्र में, हम बड़े पैमाने पर भाषा मॉडल (LLM) से वाक्य एम्बेडिंग निकालने के लिए एक नई तकनीक, टोकन प्रीपेंडिंग (TP) का प्रस्ताव करते हैं। मौजूदा विधियाँ LLM को प्रॉम्प्ट इंजीनियरिंग के माध्यम से अंतिम टोकन के एम्बेडिंग में वाक्य की जानकारी को एनकोड करने के लिए प्रेरित करती हैं, लेकिन इससे कारणात्मक ध्यान के कारण पक्षपाती एन्कोडिंग और कैस्केडिंग प्रभाव होता है, जो शुरुआती टोकन को बाद के टोकन को संदर्भित करने से रोकता है। TP प्रत्येक परत के डिकोड किए गए वाक्य एम्बेडिंग को अगली परत के इनपुट वाक्यों में जोड़ता है, ताकि शुरुआती टोकन पूरी वाक्य जानकारी पर ध्यान दे सकें। यह एक प्लग-एंड-प्ले, प्रशिक्षण-मुक्त तकनीक है जिसे विभिन्न प्रॉम्प्ट-आधारित वाक्य एम्बेडिंग विधियों और ऑटोरिग्रैसिव LLM के साथ सहजता से एकीकृत किया जा सकता है। विभिन्न अर्थपूर्ण पाठ समानता (STS) कार्यों और उपवर्गीकरण कार्यों पर व्यापक प्रयोगों के माध्यम से, हम प्रदर्शित करते हैं कि TP मौजूदा विधियों के प्रदर्शन में उल्लेखनीय रूप से सुधार करता है जबकि अनुमान लागत में मामूली वृद्धि करता है।
