दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

लॉजिक लेयर प्रॉम्प्ट कंट्रोल इंजेक्शन (LPCI): एजेंटिक सिस्टम में एक नवीन सुरक्षा भेद्यता वर्ग

Created by
  • Haebom

लेखक

हम्माद अत्ता, केन हुआंग, मनीष भट्ट, कमाल अहमद, मुहम्मद अज़ीज़ उल हक, यासिर महमूद

रूपरेखा

यह आलेख एंटरप्राइज़ सिस्टम में बड़े पैमाने के भाषा मॉडल (LLM) के एकीकरण से उत्पन्न होने वाली एक नई प्रकार की छिपी हुई सुरक्षा भेद्यता, विशेष रूप से लॉजिक निष्पादन परत और स्थायी मेमोरी संदर्भ में मौजूद भेद्यताओं, पर चर्चा करता है। हम लॉजिक लेयर प्रॉम्प्ट कंट्रोल इंजेक्शन (LPCI) का परिचय देते हैं, जो एक नया प्रकार का हमला है जिसमें मेमोरी, वेक्टर स्टोरेज या टूल आउटपुट के भीतर एन्कोडेड, विलंबित और सशर्त रूप से ट्रिगर किए गए पेलोड शामिल होते हैं। ये पेलोड मौजूदा इनपुट फ़िल्टर को बायपास कर सकते हैं और सत्रों में अनधिकृत क्रियाओं को ट्रिगर कर सकते हैं।

Takeaways, Limitations

Takeaways: एलएलएम-आधारित प्रणालियों के लिए एक नए सुरक्षा खतरे, एलपीसीआई हमलों की समझ बढ़ाकर, यह अध्ययन एंटरप्राइज़ प्रणालियों की सुरक्षा को मज़बूत करने में योगदान दे सकता है। इस बात पर ज़ोर देकर कि मौजूदा इनपुट फ़िल्टर अकेले एलपीसीआई हमलों से बचाव के लिए अपर्याप्त हैं, यह अध्ययन नई सुरक्षा रणनीतियों के विकास की आवश्यकता पर प्रकाश डालता है।
Limitations: वर्तमान में, LPCI हमलों के विरुद्ध कोई विशिष्ट बचाव तकनीक या शमन रणनीति प्रस्तावित नहीं की गई है। LPCI हमलों के वास्तविक खतरे के स्तर और संभावना के मात्रात्मक विश्लेषण का अभाव है। विभिन्न LLM और सिस्टम परिवेशों में LPCI हमलों की व्यापकता निर्धारित करने के लिए और अधिक शोध की आवश्यकता है।
👍