दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

बड़े भाषा मॉडल में मतिभ्रम नियंत्रण की मौलिक असंभवता पर

Created by
  • Haebom

लेखक

मीका पी. कार्पोविच

रूपरेखा

यह शोधपत्र एक मौलिक असंभवता प्रमेय प्रस्तुत करता है, जिसमें कहा गया है कि कोई भी वृहद्-स्तरीय भाषा मॉडल (LLM) जो गैर-तुच्छ ज्ञान एकत्रीकरण करने में सक्षम है, एक साथ सत्यनिष्ठ (आंतरिक रूप से सुसंगत) ज्ञान निरूपण, अर्थगत सूचना संरक्षण, प्रासंगिक ज्ञान का पूर्ण प्रकटीकरण, और ज्ञान-बाधित इष्टतमता प्राप्त नहीं कर सकता। यह असंभवता किसी अभियांत्रिकी सीमा से नहीं, बल्कि सूचना एकत्रीकरण की गणितीय संरचना से उत्पन्न होती है। हम इस परिणाम को अनुमान प्रक्रिया को एक विचार नीलामी के रूप में वर्णित करके स्थापित करते हैं, जहाँ वितरित घटक अपने आंशिक ज्ञान का उपयोग करके प्रतिक्रियाएँ बनाने के लिए प्रतिस्पर्धा करते हैं। यह प्रमाण तीन स्वतंत्र गणितीय क्षेत्रों में फैला है: तंत्र डिज़ाइन सिद्धांत (ग्रीन-लाफॉन्ट), उपयुक्त स्कोरिंग नियमों का सिद्धांत (सैवेज), और ट्रांसफॉर्मर्स का प्रत्यक्ष वास्तुशिल्प विश्लेषण (लॉग-सम-एक्सप उत्तलता)। विशेष रूप से, हम दर्शाते हैं कि पूर्णतः अवतल स्थितियों में, विभिन्न विश्वासों का कुल स्कोर उनके व्यक्तिगत स्कोर के योग से अधिक होता है। यह अंतर अप्राप्य निश्चितता या अति-आत्मविश्वास, अर्थात् भ्रम, रचनात्मकता या कल्पना के गणितीय मूल, के निर्माण को माप सकता है। इस विश्लेषण का समर्थन करने के लिए, हम सामान्य परिस्थितियों में परिबद्ध अनुमान के मॉडल के लिए अर्थगत सूचना मापकों और उद्भव संचालकों की पूरक अवधारणाओं का परिचय देते हैं। हम प्रदर्शित करते हैं कि परिबद्ध अनुमान सुलभ सूचना उत्पन्न करता है जो उपयोगी अंतर्दृष्टि और प्रेरणा प्रदान करती है, जबकि आदर्श अनुमान अर्थगत विषय-वस्तु को सख्ती से संरक्षित रखता है। यह प्रदर्शित करके कि मतिभ्रम और कल्पना गणितीय रूप से समतुल्य घटनाएँ हैं जो सूचना संरक्षण के एक आवश्यक उल्लंघन पर आधारित हैं, यह शोधपत्र उन्नत कृत्रिम बुद्धिमत्ता प्रणालियों में इन व्यवहारों के प्रबंधन के लिए एक सैद्धांतिक आधार प्रदान करता है। अंत में, हम प्रस्तावित सिद्धांत के मूल्यांकन और सुधार के लिए कुछ काल्पनिक विचार प्रस्तुत करते हैं।

Takeaways, Limitations

Takeaways:
एलएलएम के मतिभ्रम और रचनात्मकता के गणितीय मूल को उजागर करके, हम इन घटनाओं को समझने और प्रबंधित करने के लिए एक सैद्धांतिक आधार प्रदान करते हैं।
हम अर्थगत सूचना माप और उद्भव संचालकों जैसी नई अवधारणाओं को प्रस्तुत करके सीमित अनुमान के मॉडलिंग के लिए एक नवीन रूपरेखा प्रस्तुत करते हैं।
हम एलएलएम की ज्ञान एकत्रीकरण प्रक्रिया को एक विचार नीलामी के रूप में प्रस्तुत करते हैं, जो एक नया विश्लेषणात्मक परिप्रेक्ष्य प्रदान करता है।
Limitations:
प्रस्तावित सिद्धांत अभी भी काल्पनिक है और इसके लिए आगे प्रयोगात्मक सत्यापन की आवश्यकता है।
वास्तविक एलएलएम प्रणालियों पर सिद्धांत की प्रयोज्यता और सामान्यीकरण को निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता है।
प्रस्तावित सिद्धांत के आधार पर, एलएलएम में मतिभ्रम और रचनात्मकता को प्रभावी ढंग से प्रबंधित करने के लिए विशिष्ट पद्धतियों पर आगे अनुसंधान की आवश्यकता है।
👍