दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

मानव सुपरफोरकास्टरों के विरुद्ध वास्तविक-विश्व पूर्वानुमान पर एलएलएम का मूल्यांकन

Created by
  • Haebom

लेखक

जन्ना लू

रूपरेखा

यह शोधपत्र अत्याधुनिक बड़े पैमाने के भाषा मॉडल (एलएलएम) की पूर्वानुमान क्षमता का मूल्यांकन करता है। मेटाकुलस के 464 पूर्वानुमान प्रश्नों का उपयोग करते हुए, हमने एलएलएम के प्रदर्शन की तुलना मानव सुपर-प्रेडिक्टर्स से की। परिणाम दर्शाते हैं कि अत्याधुनिक मॉडल मानव आबादी की तुलना में बेहतर ब्रियर स्कोर प्राप्त करते हैं, फिर भी वे सुपर-प्रेडिक्टर्स से काफ़ी पीछे हैं। इससे पता चलता है कि एलएलएम विभिन्न कार्यों में उल्लेखनीय प्रदर्शन करते हुए भी, उनकी पूर्वानुमान क्षमता का अभी तक पर्याप्त अध्ययन नहीं किया गया है।

Takeaways, Limitations

•
Takeaways:
◦
अत्याधुनिक एलएलएम के भविष्य के पूर्वानुमानात्मक प्रदर्शन का वस्तुनिष्ठ बेंचमार्किंग प्रदान करता है।
◦
इससे पता चलता है कि भविष्य की भविष्यवाणी करने में एलएलएम की क्षमता अभी भी मनुष्यों, विशेषकर सुपर फोरकास्टर्स से पीछे है।
◦
यह एलएलएम की पूर्वानुमान क्षमता में सुधार के लिए और अधिक शोध की आवश्यकता पर प्रकाश डालता है।
•
Limitations:
◦
मेटाकुलस डेटासेट पर निर्भर रहने से सामान्यीकरण में सीमाएं हो सकती हैं।
◦
सुपर फोरकास्टर समूह का गठन और चयन किस प्रकार किया जाता है, इसका विस्तृत विवरण उपलब्ध नहीं हो सकता है।
◦
एलएलएम की भविष्यवाणी विफलता के कारणों के गहन विश्लेषण का अभाव हो सकता है।
👍
Made with Slashpage