दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

पार्स ट्रीज़ गाइडेड एलएलएम प्रॉम्प्ट कम्प्रेशन

Created by
  • Haebom

लेखक

वेन्हाओ माओ, चेंगबिन होउ, तियान्यू झांग, ज़िन्यू लिन, के तांग, हेयरोंग लव।

रूपरेखा

यह शोधपत्र बड़े पैमाने के भाषा मॉडल (एलएलएम) के प्रदर्शन को बेहतर बनाने के लिए समृद्ध संदर्भ प्रदान करने के तरीकों पर विचार करता है। लंबे प्रॉम्प्ट की बढ़ी हुई गणना लागत और एलएलएम के सीमित इनपुट आकार को संबोधित करने के लिए, हम पार्टप्रॉम्प्ट का प्रस्ताव करते हैं, जो एक नवीन चयनात्मक संपीड़न विधि है जो मौजूदा जनरेटिव और चयनात्मक संपीड़न विधियों की सीमाओं को दूर करती है। पार्टप्रॉम्प्ट प्रत्येक नोड की सूचना एन्ट्रॉपी की गणना करने के लिए एक भाषाई नियम-आधारित वाक्यविन्यास वृक्ष का उपयोग करता है और इसके आधार पर, एक वैश्विक वृक्ष का निर्माण करता है जो पदानुक्रमित संरचना (वाक्यों, अनुच्छेदों और अनुभागों के बीच निर्भरता) को ध्यान में रखता है। यह वैश्विक वृक्ष पर नीचे से ऊपर और ऊपर से नीचे प्रसार के माध्यम से नोड मानों को समायोजित करता है, और फिर समायोजित नोड मानों पर आधारित एक पुनरावर्ती एल्गोरिथ्म का उपयोग करके वृक्ष की छंटाई करके प्रॉम्प्ट को संपीड़ित करता है। प्रायोगिक परिणाम दर्शाते हैं कि पार्टप्रॉम्प्ट विविध डेटासेट, मूल्यांकन मीट्रिक, संपीड़न अनुपात और एलएलएम में अत्याधुनिक प्रदर्शन प्राप्त करता है। यह संपीड़ित प्रॉम्प्ट की सुसंगतता और अत्यंत लंबे प्रॉम्प्ट परिदृश्यों में भी श्रेष्ठता प्रदर्शित करता है।

Takeaways, Limitations

Takeaways:
हम एक नवीन शीघ्र संपीड़न विधि प्रस्तुत करते हैं जो एलएलएम की इनपुट सीमा और कम्प्यूटेशनल लागत संबंधी मुद्दों को प्रभावी ढंग से संबोधित करती है।
भाषा नियमों और वैश्विक संरचनाओं पर विचार करके मौजूदा तरीकों की सीमाओं पर काबू पाना।
विविध डेटासेट और एलएलएम पर अत्याधुनिक प्रदर्शन प्राप्त करना।
संपीड़ित संकेतों का बेहतर सामंजस्य.
अत्यंत लंबे प्रॉम्प्ट के लिए भी प्रभावी सिद्ध।
Limitations:
पार्टप्रॉम्प्ट का प्रदर्शन भाषा नियमों और वाक्यविन्यास विश्लेषण की सटीकता पर निर्भर हो सकता है।
विशिष्ट भाषाओं या डोमेन के लिए सामान्यीकरण प्रदर्शन पर आगे अनुसंधान की आवश्यकता है।
बहुत जटिल संरचनाओं वाले प्रॉम्प्ट की प्रसंस्करण दक्षता का मूल्यांकन करने की आवश्यकता है।
👍