दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

क्या बड़े भाषा मॉडल जानते हैं कि वे कितना जानते हैं?

Created by
  • Haebom

लेखक

गैब्रिएल प्रेटो, जेरी हुआंग, प्रसन्ना पार्थसारथी, शगुन सोधानी, सरथ चंदर

रूपरेखा

यह शोधपत्र बड़े पैमाने के भाषा मॉडलों (एलएलएम) की आत्म-ज्ञान पहचान क्षमताओं के मूल्यांकन हेतु एक मानक प्रस्तुत करता है। किसी दिए गए विषय पर अपने ज्ञान की सीमा को समझने की एलएलएम की क्षमता का आकलन करने के लिए, हम विश्लेषण करते हैं कि क्या वे अत्यधिक, अपर्याप्त, या सटीक मात्रा में जानकारी याद रखते हैं। विभिन्न आर्किटेक्चर वाले एलएलएम के साथ किए गए प्रयोगों से पता चलता है कि पर्याप्त रूप से बड़े एलएलएम यह समझने की क्षमता प्रदर्शित करते हैं कि वे किसी दिए गए विषय के बारे में कितना जानते हैं। हालाँकि, जिस गति से यह क्षमता उभरती है वह आर्किटेक्चर के अनुसार भिन्न होती है, और इस क्षमता की पुष्टि करने और अंतर्निहित तंत्रों को पूरी तरह से स्पष्ट करने के लिए और अधिक शोध की आवश्यकता है।

Takeaways, Limitations

Takeaways:
इससे पता चलता है कि बड़े पैमाने के भाषा मॉडल में अपने ज्ञान के दायरे को पहचानने की क्षमता हो सकती है।
हम दिखाते हैं कि एलएलएम की आत्म-ज्ञान पहचान क्षमता मॉडल के आकार और वास्तुकला के आधार पर भिन्न हो सकती है।
एलएलएम के बुद्धिमत्ता स्तर का आकलन करने के लिए एक नया मीट्रिक प्रदान करता है।
Limitations:
इस अध्ययन में प्रस्तुत मानदंडों की सामान्यता निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता है।
एलएलएम की आत्म-ज्ञान जागरूकता क्षमता के अंतर्निहित तंत्र पर आगे अनुसंधान की आवश्यकता है।
इसके लिए विभिन्न प्रकार के एलएलएम और व्यापक विषयों पर शोध की आवश्यकता होती है।
👍