यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
यह पत्र निम्न-आयामी अनुकूली भार मैट्रिक्स (जैसे LoRA और एडाप्टर) की सीमाओं को इंगित करता है, जो मुख्य रूप से विज़न ट्रांसफॉर्मर (ViT) के पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT) में उपयोग किए जाते हैं, और एक बेहतर विधि प्रस्तुत करते हैं। मौजूदा विधियाँ पूर्व-सीखे गए बैकबोन मापदंडों की अनुमानित ऑर्थोगोनैलिटी को निम्न-आयामी मैट्रिक्स में प्रतिबिंबित नहीं कर सकती हैं, जो खराब सामान्यीकरण प्रदर्शन का कारण बनती है। इस पत्र में, हम एक अनुमानित ऑर्थोगोनल फ़ाइन-ट्यूनिंग (AOFT) रणनीति का प्रस्ताव करते हैं जो एकल सीखने योग्य वेक्टर का उपयोग करके अनुमानित ऑर्थोगोनल वैक्टर उत्पन्न करके एक निम्न-आयामी मैट्रिक्स का निर्माण करती है। इसके माध्यम से, हम प्रयोगात्मक रूप से दिखाते हैं कि यह पूर्व-सीखे गए बैकबोन मापदंडों के समान गुणों को निम्न-आयामी मैट्रिक्स में प्रदान करके सामान्यीकरण प्रदर्शन में सुधार करता है
Takeaways, Limitations
•
Takeaways:
◦
हम दिखाते हैं कि पूर्व-प्रशिक्षित ViT बैकबोन की अनुमानित ऑर्थोगोनैलिटी को निम्न-आयामी अनुकूलन मैट्रिसेस पर लागू करने से सामान्यीकरण प्रदर्शन में सुधार हो सकता है।
◦
हम दर्शाते हैं कि AOFT रणनीति PEFT के प्रदर्शन में सुधार ला सकती है और प्रतिस्पर्धी परिणाम प्राप्त कर सकती है।
◦
हम एकल सीखने योग्य वेक्टर का उपयोग करके अनुमानित ऑर्थोगोनल मैट्रिसेस उत्पन्न करने के लिए एक कुशल विधि प्रस्तुत करते हैं।
•
Limitations:
◦
चूंकि प्रस्तावित AOFT रणनीति की प्रभावशीलता छवि वर्गीकरण कार्यों तक सीमित है, इसलिए अन्य दृष्टि कार्यों के लिए इसकी सामान्यता पर आगे अध्ययन की आवश्यकता है।
◦
सामान्यीकरण प्रदर्शन में सुधार पर अनुमानित ऑर्थोगोनैलिटी के प्रभाव पर सैद्धांतिक विश्लेषण का अभाव है।
◦
अन्य PEFT विधियों के साथ अधिक गहन तुलनात्मक विश्लेषण की आवश्यकता है।
