दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

कुशल परीक्षण-समय तर्क के लिए एन्ट्रॉपी-गेटेड ब्रांचिंग

Created by
  • Haebom

लेखक

जियानझी ली, एथन कैलानन, अब्देला घासेल, ज़ियाओदान झू

रूपरेखा

यह शोधपत्र एन्ट्रॉपी-गेटेड ब्रांचिंग का प्रस्ताव करता है, जो एक नवीन अनुमान तकनीक है जो बीम सर्च जैसी परीक्षण-समय गणना विधियों की दक्षता में सुधार करती है, और बड़े पैमाने के भाषा मॉडल (एलएलएम) की अनुमान क्षमता और समस्या-समाधान सटीकता में उल्लेखनीय सुधार करती है। जहाँ पारंपरिक बीम सर्च कम-प्रसरण शाखाओं की खोज में महत्वपूर्ण गणना संसाधनों को बर्बाद करता है जहाँ मॉडल पहले से ही उच्च विश्वसनीयता प्रदर्शित करता है, वहीं यह शोधपत्र यह दर्शाता है कि अनिश्चित अनुमान चरणों का एक छोटा सा उपसमूह अंतिम भविष्यवाणी सटीकता को असमान रूप से प्रभावित करता है। इसलिए, हम एक ऐसी विधि प्रस्तावित करते हैं जो केवल उच्च अनिश्चितता वाले बिंदुओं पर भविष्यवाणी अनुक्रम को चुनिंदा रूप से विस्तारित करने के लिए गेटिंग तंत्र के रूप में एन्ट्रॉपी का लाभ उठाकर गणना संसाधनों को गतिशील रूप से आवंटित करती है। उम्मीदवार शाखाओं को रैंक और छाँटने के लिए एक बाहरी फीडबैक मॉडल का उपयोग किया जाता है। गणितीय और वित्तीय अनुमान मानकों पर प्रायोगिक परिणाम दर्शाते हैं कि यह रणनीति पारंपरिक बीम सर्च के समान या बेहतर प्रदर्शन प्राप्त करती है, मानक अनुमान की तुलना में सटीकता में 22.6% सुधार और 37% गति में वृद्धि प्राप्त करती है। यह दर्शाता है कि अनुमान के दौरान गतिशील संसाधन आवंटन दक्षता और प्रभावशीलता में उल्लेखनीय रूप से सुधार कर सकता है।

Takeaways, Limitations

Takeaways:
हम प्रदर्शित करते हैं कि एन्ट्रॉपी-आधारित गतिशील संसाधन आवंटन, एलएलएम की अनुमान दक्षता और सटीकता में एक साथ सुधार कर सकता है।
प्रयोगात्मक रूप से उस रणनीति की प्रभावशीलता का प्रदर्शन करना जो उच्च अनिश्चितता वाले बिंदुओं पर कम्प्यूटेशनल संसाधनों को केंद्रित करती है।
एक नई विधि प्रस्तुत की गई है जो मौजूदा बीम खोज की तुलना में अधिक तीव्र और सटीक अनुमान लगाने में सक्षम है।
एलएलएम की तर्क क्षमता में सुधार के लिए एक अधिक मापनीय मार्ग प्रस्तुत करना।
Limitations:
प्रस्तावित विधि का प्रदर्शन विशिष्ट मानदंडों (गणितीय और वित्तीय अनुमान) तक सीमित है, जिससे अन्य प्रकार की समस्याओं के लिए सामान्यीकरण अनिश्चित हो जाता है।
यह बाह्य फीडबैक मॉडल के प्रदर्शन पर निर्भर करता है, तथा फीडबैक मॉडल के डिजाइन और प्रशिक्षण पर विवरण का अभाव है।
अनिश्चितता माप के रूप में एन्ट्रॉपी का उपयोग करने की सीमाएं और अन्य अनिश्चितता मापों का उपयोग करते समय प्रदर्शन परिवर्तनों के विश्लेषण की कमी।
👍