दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

विज्ञान रिपोर्ट 3 को प्रेरित करते हुए: मैं तुम्हें पैसे दूंगा या तुम्हें मार दूंगा - लेकिन क्या तुम्हें परवाह होगी?

Created by
  • Haebom

लेखक

लेनार्ट मीन्के, एथन मोल्लिक, लिलाच मोल्लिक, डैन शापिरो

रूपरेखा

यह शोधपत्र, कठोर परीक्षणों के माध्यम से एआई मॉडल इंटरैक्शन के तकनीकी विवरणों को समझने में मदद करने के लिए डिज़ाइन की गई लघु रिपोर्टों की श्रृंखला में तीसरा है। यह रिपोर्ट एआई प्रदर्शन में सुधार के लिए आमतौर पर इस्तेमाल किए जाने वाले दो तरीकों की प्रभावशीलता की जाँच करती है: "प्रॉम्प्टिंग" और "थ्रेटिंग" एआई मॉडल। GPQA और MMLU-Pro बेंचमार्क का उपयोग करने वाले प्रयोगों से पता चलता है कि मॉडल को थ्रैटिंग या टिपिंग करने से बेंचमार्क प्रदर्शन पर कोई खास प्रभाव नहीं पड़ता है। हालाँकि, प्रश्न-दर-प्रश्न प्रॉम्प्ट परिवर्तन प्रदर्शन को महत्वपूर्ण रूप से प्रभावित कर सकते हैं, लेकिन यह पहले से जानना मुश्किल है कि किसी दिए गए प्रश्न के लिए कोई विशेष प्रॉम्प्टिंग दृष्टिकोण फायदेमंद होगा या नुकसानदेह। इससे पता चलता है कि साधारण प्रॉम्प्ट परिवर्तन पहले की अपेक्षा उतने प्रभावी नहीं हो सकते हैं, खासकर चुनौतीपूर्ण समस्याओं के लिए।

Takeaways, Limitations

Takeaways: हमने अनुभवजन्य रूप से सत्यापित किया है कि AI मॉडलों को सुझाव या धमकी देने से बेंचमार्क प्रदर्शन पर कोई खास असर नहीं पड़ता। हालाँकि प्रॉम्प्ट इंजीनियरिंग व्यक्तिगत प्रश्नों के प्रदर्शन पर महत्वपूर्ण प्रभाव डाल सकती है, लेकिन इसके प्रभावों का अनुमान लगाना मुश्किल है। इसलिए, केवल प्रॉम्प्ट को संशोधित करने से कठिन समस्याओं के समाधान पर कोई खास असर पड़ने की संभावना नहीं है।
Limitations: इस अध्ययन की एक सीमा यह है कि विशिष्ट प्रश्नों पर संकेतों के प्रभाव का पूर्वानुमान लगाना कठिन है। इस अध्ययन के परिणाम एक विशिष्ट बेंचमार्क और मॉडल तक सीमित हैं, और अन्य बेंचमार्क या मॉडलों के लिए सामान्यीकरण करते समय सावधानी बरतने की आवश्यकता है।
👍