दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

मेटा-टोकन के माध्यम से दोषरहित टोकन अनुक्रम संपीड़न

Created by
  • Haebom

लेखक

जॉन हार्विल, ज़िवेई फैन, हाओ वांग, ल्यूक हुआन, अनूप देवरस, यिझोउ सन, हाओ डिंग

रूपरेखा

बड़े पैमाने के भाषा मॉडल (एलएलएम) के लिए त्वरित संपीड़न पर पिछले शोध के विपरीत, जो मुख्य रूप से अर्थ संबंधी जानकारी का त्याग करने वाली विधियों पर केंद्रित है, यह पत्र LZ77 के समान एक कार्य-स्वतंत्र, दोषरहित संपीड़न तकनीक प्रस्तुत करता है। दो मूल्यांकन कार्यों पर, हम प्रदर्शित करते हैं कि प्रस्तावित तकनीक इनपुट टोकन अनुक्रम की लंबाई क्रमशः 27% और 18% कम करती है। इसके अलावा, ट्रांसफार्मर-आधारित एलएलएम का उपयोग ध्यान की द्विघात प्रकृति के कारण एन्कोडिंग गणना को क्रमशः 47% और 33% कम करता है। हम इस बात पर ज़ोर देते हैं कि टोकन अनुक्रम परिवर्तन आसानी से प्रतिवर्ती हैं, और अर्थ संबंधी जानकारी का कोई नुकसान नहीं होता है। हम प्रस्तावित विधि का मूल्यांकन दो कार्यों पर करते हैं जिनमें अर्थ/वाक्यगत जानकारी के सटीक संरक्षण की आवश्यकता होती है

Takeaways, Limitations

Takeaways:
हम एलएलएम प्रॉम्प्ट के लिए एक कार्य-स्वतंत्र हानिरहित संपीड़न तकनीक प्रस्तुत करते हैं, जो यह प्रदर्शित करती है कि इनपुट टोकन अनुक्रम की लंबाई को काफी हद तक कम किया जा सकता है।
यह ट्रांसफॉर्मर-आधारित एलएलएम के एन्कोडिंग कम्प्यूटेशनल लोड को प्रभावी ढंग से कम कर सकता है।
यह उन कार्यों में मौजूदा हानिपूर्ण संपीड़न विधियों से बेहतर प्रदर्शन करता है जहां अर्थ/वाक्यगत जानकारी का सटीक संरक्षण महत्वपूर्ण होता है।
Limitations:
हानिरहित संपीड़न तकनीक का उपयोग करने के बावजूद, असंपीड़ित इनपुट की तुलना में प्रदर्शन में थोड़ा अंतर होता है।
मूल्यांकन दो कार्यों तक सीमित था, जिसके लिए सामान्यीकरण पर आगे अनुसंधान की आवश्यकता थी।
बड़े मॉडलों और विस्तारित कंप्यूट बजट के साथ प्रदर्शन में सुधार की प्रयोगात्मक रूप से पुष्टि नहीं की गई है।
👍