दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

प्रॉम्प्टकीपर: एलएलएम के लिए सिस्टम प्रॉम्प्ट्स की सुरक्षा

Created by
  • Haebom

लेखक

ज़ीफ़ेंग जियांग, झिहुआ जिन, गुओलियांग हे

रूपरेखा

यह शोधपत्र प्रॉम्प्टकीपर नामक एक सुरक्षा तंत्र का प्रस्ताव करता है जो बड़े पैमाने के भाषा मॉडल (एलएलएम) के आउटपुट को निर्देशित करने वाले सिस्टम प्रॉम्प्ट से जुड़ी सुरक्षा चिंताओं को दूर करता है। सिस्टम प्रॉम्प्ट में अक्सर व्यावसायिक तर्क और संवेदनशील जानकारी होती है, जिससे वे दुर्भावनापूर्ण या सामान्य उपयोगकर्ता क्वेरीज़ के माध्यम से एलएलएम कमजोरियों के शोषण के प्रति संवेदनशील हो जाते हैं। प्रॉम्प्टकीपर दो प्रमुख चुनौतियों का समाधान करता है: प्रॉम्प्ट लीक का विश्वसनीय रूप से पता लगाना और लीक होने पर साइड-चैनल कमजोरियों को कम करना। लीक का पता लगाने को एक परिकल्पना परीक्षण समस्या के रूप में प्रस्तुत करके, यह स्पष्ट और सूक्ष्म, दोनों प्रकार के लीक की प्रभावी रूप से पहचान करता है। जब किसी लीक का पता चलता है, तो यह डमी प्रॉम्प्ट का उपयोग करके प्रतिक्रियाओं को पुन: उत्पन्न करता है, जिससे वे लीक रहित सामान्य इंटरैक्शन से अप्रभेद्य हो जाते हैं। परिणामस्वरूप, यह दुर्भावनापूर्ण या सामान्य क्वेरीज़ के माध्यम से प्रॉम्प्ट निष्कर्षण हमलों के विरुद्ध मज़बूत सुरक्षा प्रदान करता है, जबकि सामान्य उपयोगकर्ता इंटरैक्शन की संवादात्मक क्षमताओं और निष्पादन दक्षता को बनाए रखता है।

Takeaways, Limitations

Takeaways:
एलएलएम सिस्टम प्रॉम्प्ट में सुरक्षा खतरों के लिए प्रभावी समाधान प्रदान करना।
दुर्भावनापूर्ण हमलों और सामान्य उपयोगकर्ता प्रश्नों दोनों के विरुद्ध मजबूत सुरक्षा प्रदान करता है।
शीघ्र रिसाव का पता लगाने और उसे कम करने के लिए एक कुशल तंत्र प्रस्तुत करना।
बातचीत कौशल और निष्पादन दक्षता बनाए रखें
Limitations:
वास्तविक वातावरण में प्रस्तावित रक्षा तंत्र के प्रदर्शन और स्थिरता का आगे मूल्यांकन आवश्यक है।
विभिन्न प्रकार के एलएलएम और आक्रमण तकनीकों के लिए सामान्यीकरण सत्यापन की आवश्यकता होती है।
डमी प्रॉम्प्ट जनरेशन रणनीति के अनुकूलन और सुरक्षा संवर्द्धन की आवश्यकता है।
वास्तविक प्रणालियों पर लागू होने पर होने वाले अतिरिक्त ओवरहेड और प्रदर्शन में गिरावट का विश्लेषण किया जाना आवश्यक है।
👍