दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

दृष्टि-भाषा मॉडल के परीक्षण-समय सामान्यीकरण के लिए मल्टी-कैश संवर्धित प्रोटोटाइप लर्निंग

Created by
  • Haebom

लेखक

ज़िन्यू चेन, हाओटियन झाई, कैन झांग, ज़ियुपेंग शि, रुइरुई ली

रूपरेखा

यह शोधपत्र शून्य-शॉट सेटिंग में परीक्षण-समय अनुकूलन (TTA) पर केंद्रित है। मौजूदा कैश-संवर्धित TTA विधियाँ, प्रोटोटाइप निर्माण हेतु नमूनों के चयन हेतु निम्न-एन्ट्रॉपी मानदंड का उपयोग करती हैं, यह मानते हुए कि अंतर-वर्ग संपीडनशीलता है। हालाँकि, वितरण परिवर्तन के अंतर्गत, निम्न-एन्ट्रॉपी नमूने अविश्वसनीय हो सकते हैं, और परिणामस्वरूप उत्पन्न प्रोटोटाइप एक संपीडित अंतर-वर्ग वितरण की गारंटी नहीं दे सकते हैं। यह अध्ययन कैश संवर्द्धन प्रदर्शन और अंतर-वर्ग संपीडनशीलता के बीच एक सकारात्मक सहसंबंध प्रदर्शित करता है। इसके आधार पर, हम बहु-कैश संवर्धित प्रोटोटाइप-आधारित परीक्षण-समय अनुकूलन (MCP) का प्रस्ताव करते हैं, जिसमें तीन कैश शामिल हैं: एक एंट्रॉपी कैश, एक सॉर्टिंग कैश, और एक ऋणात्मक कैश। MCP++ एक ऐसा ढाँचा है जो क्रॉस-मोडल प्रोटोटाइप संरेखण और अवशिष्ट अधिगम को एकीकृत करता है, और प्रोटोटाइप अवशिष्ट फ़ाइन-ट्यूनिंग का परिचय देता है। 15 डाउनस्ट्रीम कार्यों पर तुलना और पृथक्करण प्रयोगों से पता चलता है कि प्रस्तावित विधि और ढाँचा अत्याधुनिक सामान्यीकरण प्रदर्शन प्राप्त करते हैं।

Takeaways, Limitations

Takeaways:
हम अंतर-वर्ग संपीडनशीलता और कैश-वर्धित TTA प्रदर्शन के बीच सकारात्मक सहसंबंध प्रकट करते हैं।
एकाधिक कैश (एन्ट्रॉपी, सॉर्ट और नेगेटिव कैश) का लाभ उठाकर शून्य-शॉट सेटिंग्स में बेहतर TTA प्रदर्शन।
एमसीपी++ फ्रेमवर्क के माध्यम से क्रॉस-मोडल प्रोटोटाइप संरेखण और अवशिष्ट शिक्षण के माध्यम से अतिरिक्त प्रदर्शन सुधार।
15 डाउनस्ट्रीम कार्यों में SOTA प्रदर्शन हासिल किया गया।
Limitations:
प्रस्तावित विधि की कम्प्यूटेशनल लागत और जटिलता के विश्लेषण का अभाव।
विभिन्न डेटा वितरण संचलन स्थितियों के प्रति मजबूती पर आगे अनुसंधान की आवश्यकता है।
कुछ प्रकार के शून्य-शॉट सेटअप के प्रति संभावित पूर्वाग्रह।
👍