GLSim: वैश्विक-स्थानीय समानता के माध्यम से LVLMs में वस्तु विभ्रम का पता लगाना

Created by

Haebom

लेखक

सियोंघियोन पार्क, यिक्सुआन ली

रूपरेखा

यह शोधपत्र GLSim का प्रस्ताव करता है, जो बड़े पैमाने के दृष्टि-भाषा मॉडलों में वस्तु विभ्रम का पता लगाने की विश्वसनीयता में सुधार के लिए एक नवीन ढाँचा है। मौजूदा विधियों के विपरीत, जो केवल वैश्विक या स्थानीय परिप्रेक्ष्यों पर विचार करती हैं, GLSim छवि और पाठ विधाओं के बीच वैश्विक और स्थानीय एम्बेडिंग समानता संकेतों का लाभ उठाकर पूरक सूचनाओं को संयोजित करता है। प्रायोगिक परिणाम दर्शाते हैं कि वस्तु विभ्रम का पता लगाने में GLSim मौजूदा विधियों से बेहतर प्रदर्शन करता है।

Takeaways, Limitations

•

Takeaways:

◦

हम दर्शाते हैं कि छवि और पाठ मोड के बीच वैश्विक और स्थानीय जानकारी को एकीकृत करने से वस्तु मतिभ्रम का पता लगाने की सटीकता और विश्वसनीयता में सुधार हो सकता है।

◦

एक नया दृष्टिकोण प्रस्तुत करता है जो मौजूदा तरीकों की सीमाओं पर काबू पाता है।

◦

प्रशिक्षण-मुक्त दृष्टिकोण, आवेदन की आसानी को बढ़ाता है।

•

Limitations:

◦

यह निर्धारित करने के लिए आगे सत्यापन की आवश्यकता है कि क्या GLSim का प्रदर्शन विभिन्न परिदृश्यों में लगातार बेहतर है।

◦

कुछ प्रकार के वस्तु विभ्रमों के कारण प्रदर्शन में गिरावट अभी भी हो सकती है।

◦

इस पत्र में प्रस्तुत प्रयोगात्मक परिणामों की सामान्यता निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता है।