यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
बड़े पैमाने के भाषा मॉडल (वीएलएम) पर आधारित भौतिक एजेंटों में दोषपूर्ण नियोजन गंभीर सुरक्षा जोखिम पैदा करता है जो वास्तविक दुनिया के परिदृश्यों में तैनाती में बाधा डालते हैं। मौजूदा स्थिर, गैर-इंटरैक्टिव मूल्यांकन प्रतिमान इन इंटरैक्टिव वातावरणों के भीतर जोखिमों का पर्याप्त रूप से आकलन करने में विफल रहते हैं क्योंकि वे किसी एजेंट के कार्यों से उत्पन्न होने वाले गतिशील जोखिमों का अनुकरण नहीं कर सकते हैं और अविश्वसनीय पोस्ट-हॉक मूल्यांकनों पर निर्भर करते हैं जो असुरक्षित मध्यवर्ती चरणों की उपेक्षा करते हैं। इस महत्वपूर्ण अंतर को दूर करने के लिए, यह पत्र किसी एजेंट की इंटरैक्ट सुरक्षा का आकलन करने के लिए एक विधि प्रस्तावित करता है - उभरते खतरों को पहचानने और सही प्रक्रियात्मक अनुक्रम में शमन चरणों को निष्पादित करने की उसकी क्षमता। इसलिए, हम आईएस-बेंच प्रस्तुत करते हैं, पहला मल्टीमॉडल इंटरैक्टिव सुरक्षा बेंचमार्क जिसमें 161 चुनौतीपूर्ण परिदृश्य शामिल हैं GPT-4o और Gemini-2.5 श्रृंखला सहित अग्रणी VLM पर व्यापक प्रयोगों से पता चलता है कि वर्तमान एजेंटों में परस्पर क्रिया सुरक्षा जागरूकता का अभाव है, और सुरक्षा-जागरूक विचार-श्रृंखलाएँ प्रदर्शन में सुधार तो कर सकती हैं, लेकिन अक्सर कार्य-पूर्ति में बाधा डालती हैं। इन महत्वपूर्ण सीमाओं को उजागर करके, IS-Bench अधिक सुरक्षित और विश्वसनीय ऑब्जेक्ट-ओरिएंटेड AI सिस्टम विकसित करने का आधार प्रदान करता है। कोड और डेटा इस लिंक पर उपलब्ध हैं ।
इंटरैक्टिव वातावरण में सुरक्षा जोखिम मूल्यांकन के लिए एक नया मानक, आईएस-बेंच की प्रस्तुति।
◦
अंतःक्रिया सुरक्षा आकलन के लिए एक प्रक्रिया-उन्मुख मूल्यांकन पद्धति का प्रस्ताव करना।
◦
प्रमुख वीएलएम के अंतःक्रिया सुरक्षा स्तर पर प्रायोगिक विश्लेषण परिणामों की प्रस्तुति।
◦
सुरक्षित और अधिक विश्वसनीय ऑब्जेक्ट-ओरिएंटेड एआई सिस्टम विकसित करने के लिए आधार प्रदान करना।
◦
खुले कोड और डेटा के माध्यम से अनुसंधान की पुनरुत्पादनशीलता और मापनीयता सुनिश्चित करना।
•
Limitations:
◦
वर्तमान में, आईएस-बेंच का मूल्यांकन उच्च-निष्ठा सिम्युलेटर वातावरण में किया जाता है, इसलिए वास्तविक दुनिया के वातावरण में इसकी सामान्यता निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता है।
◦
सुरक्षा जागरूकता के लिए विचार श्रृंखला (CHI) दृष्टिकोण का अनुप्रयोग समस्याग्रस्त साबित हुआ है, जिससे कार्य पूरा होने की दर कम हो सकती है। अधिक प्रभावी सुरक्षा संवर्धन तकनीकों को विकसित करने के लिए अनुसंधान की आवश्यकता है।
◦
बेंचमार्क में शामिल परिदृश्यों की विविधता और सामान्यीकरण की आगे समीक्षा की आवश्यकता है।
