दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

जेडईएस: डीकम्पोज़िशनल स्कोरिंग के माध्यम से जेलब्रेक मूल्यांकन के लिए एक सार्वभौमिक ढांचा

작성자
  • Haebom

लेखक

जुन्जी चू, मिंगजी ली, ज़िक्विंग यांग, ये लेंग, चेनहाओ लिन, चाओ शेन, माइकल बैकेस, युन शेन, यांग झांग

रूपरेखा

डिकंपोज़िशनल स्कोरिंग के माध्यम से जेलब्रेक असेसमेंट (JADES) जेलब्रेक की सफलता का मूल्यांकन करने के लिए एक सामान्य-उद्देश्यीय ढाँचा है, जिसे मौजूदा गलत और व्यक्तिपरक मूल्यांकन विधियों में सुधार के लिए डिज़ाइन किया गया है। यह हानिकारक प्रश्नों को भारित उप-प्रश्नों में विघटित करता है और अंतिम निर्णय पर पहुँचने के लिए प्रत्येक उप-उत्तर को अंक देता है। इसके अतिरिक्त, इसमें मतिभ्रम का पता लगाने में सुधार के लिए वैकल्पिक रूप से एक तथ्य-जांच मॉड्यूल भी शामिल किया जा सकता है। इस पत्र में, हम एक नया बेंचमार्क, जेलब्रेकक्यूआर, प्रस्तुत करते हैं, जिसमें 400 जेलब्रेक प्रॉम्प्ट-रिस्पॉन्स जोड़े शामिल हैं, और इसके आधार पर JADES का सत्यापन करते हैं। JADES मानव मूल्यांकनकर्ताओं के साथ 98.5% सहमति प्राप्त करता है, जो मौजूदा विधियों की तुलना में 9% से अधिक सुधार दर्शाता है और मौजूदा मूल्यांकन विधियों में अति-अनुमान की समस्या को उजागर करता है।

Takeaways, Limitations

Takeaways:
मौजूदा जेलब्रेक सफलता दर मूल्यांकन की अशुद्धि और व्यक्तिपरकता के मुद्दों को हल करने में योगदान देता है।
JADES सटीक, सुसंगत और व्याख्या योग्य जेलब्रेक हमले का आकलन प्रदान करता है।
भविष्य में जेलब्रेक हमलों को मापने के लिए एक विश्वसनीय आधार रेखा प्रदान करना।
जेलब्रेक हमलों की सफलता दर को सुधारना, जिसे पिछले अध्ययनों में अधिक आंका गया था।
Limitations:
जेलब्रेकक्यूआर बेंचमार्क का पैमाना अपेक्षाकृत सीमित हो सकता है।
विभिन्न प्रकार के जेलब्रेक हमलों और एलएलएम के लिए सामान्यीकरण प्रदर्शन पर आगे अनुसंधान की आवश्यकता है।
तथ्य-जांच मॉड्यूल के प्रदर्शन और विश्वसनीयता का और अधिक सत्यापन आवश्यक है।
👍