इस शोधपत्र में, हम सुरक्षा-महत्वपूर्ण दैनिक जीवन परिदृश्यों में दृष्टि-भाषा मॉडल (VLM) की विश्वसनीयता का मूल्यांकन करने के लिए एक नया बेंचमार्क डेटासेट, विज़ुअल इमरजेंसी रिकॉग्निशन डेटासेट (VERI) प्रस्तुत करते हैं। VERI में 200 छवियां हैं, जिनमें से प्रत्येक को दृष्टिगत रूप से समान लेकिन सुरक्षित छवि के साथ जोड़ा गया है। हम 14 VLM (2B से 124B तक के मापदंडों के साथ) का मूल्यांकन दो-चरणीय मूल्यांकन प्रोटोकॉल (खतरे की पहचान और आपातकालीन प्रतिक्रिया) का उपयोग करके करते हैं, जिसमें चिकित्सा आपात स्थिति, दुर्घटनाएं और प्राकृतिक आपदाएं शामिल हैं। हम पाते हैं कि जबकि मॉडल सही आपात स्थिति (70-100% सफलता दर) की सही पहचान करते हैं, वे एक उच्च झूठी सकारात्मक दर भी प्रदर्शित करते हैं, जो एक "अति प्रतिक्रिया समस्या" है। सुरक्षित परिदृश्यों को असुरक्षित परिदृश्यों के रूप में गलत तरीके से वर्गीकृत करने की दर 31-96% तक है, और 10 सुरक्षित परिदृश्यों को मॉडल के आकार की परवाह किए बिना सभी मॉडलों द्वारा लगातार गलत तरीके से वर्गीकृत किया जाता है। यह “बेहतर सुरक्षित” पूर्वाग्रह मुख्य रूप से स्थिति की अधिक व्याख्या (88-93% त्रुटि) के कारण है, जो सुरक्षा-महत्वपूर्ण अनुप्रयोगों में वीएलएम की विश्वसनीयता के बारे में चिंताएँ पैदा करता है। निष्कर्ष में, यह अध्ययन अस्पष्ट दृश्य स्थितियों में स्थिति अनुमान को बेहतर बनाने के लिए रणनीतियों की आवश्यकता पर प्रकाश डालता है।
