यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
यह शोधपत्र एक बड़े पैमाने पर तर्क मॉडल (LRM) के व्यवहार की व्याख्या और निगरानी के लिए एक विधि प्रस्तुत करता है, जिस तरह से यह स्वायत्त रूप से विचारों की एक श्रृंखला (CoT) उत्पन्न करता है और फिर एक अंतिम प्रतिक्रिया उत्पन्न करता है। हम जांच करते हैं कि क्या LRM मानव जैसी संज्ञानात्मक आदतें प्रदर्शित करते हैं, यह देखते हुए कि कुछ CoT पैटर्न (जैसे, "रुको, क्या मैं कुछ भूल गया?") लगातार विभिन्न कार्यों में दिखाई देते हैं। हैबिट्स ऑफ माइंड के आधार पर, सफल मानव समस्या समाधान से जुड़ी संज्ञानात्मक आदतों का एक सुस्थापित ढाँचा, हम कॉगटेस्ट का प्रस्ताव करते हैं, जो LRM की संज्ञानात्मक आदतों का आकलन करने के लिए डिज़ाइन किया गया एक सैद्धांतिक बेंचमार्क है। कॉगटेस्ट में 16 संज्ञानात्मक आदतें शामिल हैं, जिनमें से प्रत्येक को 25 अलग-अलग कार्यों में लागू किया गया है, और विश्वसनीय आदत पहचान सुनिश्चित करने के लिए साक्ष्य-प्रथम निष्कर्षण का उपयोग करता है। कॉगटेस्ट का उपयोग करके, हम 16 व्यापक रूप से उपयोग किए जाने वाले LLM (13 LRM और 3 गैर-अनुमान मॉडल) का व्यापक मूल्यांकन करते हैं। हमारे परिणाम बताते हैं कि, मौजूदा LLM के विपरीत, LRM न केवल मानव जैसी आदतें प्रदर्शित करते हैं, बल्कि विभिन्न कार्यों में आदतों का अनुकूली रूप से उपयोग भी करते हैं। विस्तृत विश्लेषण से LRM की संज्ञानात्मक आदत प्रोफ़ाइल में समानता और अंतर के पैटर्न का पता चलता है, विशेष रूप से विशिष्ट परिवारों (जैसे, क्वेन-3 मॉडल और डीपसीक-आर1) के बीच। अध्ययन को सुरक्षा-संबंधी कार्यों तक विस्तारित करते हुए, हम देखते हैं कि कुछ आदतें, जैसे कि ज़िम्मेदार जोखिम उठाना, हानिकारक प्रतिक्रियाओं की पीढ़ी के साथ दृढ़ता से जुड़ी हुई हैं। ये परिणाम बताते हैं कि LRM के CoT में लगातार व्यवहार पैटर्न का अध्ययन करना LLM खराबी की गहरी समझ की दिशा में एक मूल्यवान कदम है। कोड https://github.com/jianshuod/CogTest पर पाया जा सकता है ।
हमने प्रदर्शित किया कि एल.आर.एम. मनुष्यों के समान संज्ञानात्मक आदतें प्रदर्शित करता है तथा कार्य के आधार पर उनका अनुकूल उपयोग करता है।
◦
हमने एल.आर.एम. की संज्ञानात्मक आदत प्रोफाइल में विशिष्ट श्रृंखलाओं के बीच समानताएं पाईं।
◦
एलएलएम शिथिलता को समझने में यह अध्ययन योगदान देता है, क्योंकि इसमें यह पाया गया है कि विशिष्ट आदतें (जैसे, जिम्मेदारी से जोखिम उठाना) हानिकारक प्रतिक्रियाओं के उत्पन्न होने से जुड़ी होती हैं।
◦
हम कॉगटेस्ट नामक एक नया बेंचमार्क प्रस्तुत करके एलएलएम की संज्ञानात्मक आदतों के आकलन के लिए एक आधार प्रदान करते हैं।
•
Limitations:
◦
चूंकि कॉगटेस्ट में 16 संज्ञानात्मक आदतें और 25 कार्य शामिल हैं, इसलिए व्यापक मूल्यांकन के लिए अतिरिक्त आदतों और कार्यों की आवश्यकता हो सकती है।
◦
वर्तमान में मूल्यांकित एलएलएम की सीमित संख्या और प्रकार को देखते हुए, अधिक विविध मॉडलों पर आगे अनुसंधान की आवश्यकता है।
◦
मानव संज्ञानात्मक आदतों और एलआरएम संज्ञानात्मक आदतों के बीच सटीक पत्राचार पर आगे अनुसंधान की आवश्यकता है।
◦
"हानिकारक प्रतिक्रिया" के निर्धारण हेतु परिभाषा और मानदंड के संबंध में स्पष्टता का अभाव हो सकता है।
