दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

स्किप कनेक्शन के साथ पूर्णतः कन्वोल्यूशनल और डिफरेंशियल फ्रंट एंड के माध्यम से ग्रेडिएंट हमलों के प्रति उल्लेखनीय लचीलेपन का एक अनोखा मामला

Created by
  • Haebom

लेखक

लियोनिद बोयत्सोव, अमेय जोशी, फ़िलिप कोंडेसा

रूपरेखा

यह शोधपत्र एक फ्रंट-एंड रीइन्फोर्समेंट न्यूरल नेटवर्क मॉडल के साथ प्रयोग करता है जो मौजूदा बैकबोन क्लासिफायर को स्थिर कर देता है और उसके सामने स्किप कनेक्शन के साथ एक विभेदक पूर्ण कन्वोल्यूशनल मॉडल जोड़ता है। कम लर्निंग रेट के साथ केवल एक एपोच के लिए प्रशिक्षण देकर, हमें एक ऐसा मॉडल प्राप्त होता है जो ऑटोअटैक पैकेज के APGD और FAB-T हमलों सहित ग्रेडिएंट हमलों के प्रति अत्यधिक प्रतिरोधी है, जबकि बैकबोन क्लासिफायर की सटीकता बनाए रखता है। ऐसा माना जाता है कि यह ग्रेडिएंट मास्किंग के कारण है। हमने एक पूर्ण विभेदक मॉडल में, JPEG कम्प्रेशन जैसे ग्रेडिएंट-डिस्ट्रॉइंग या ग्रेडिएंट-डाइवलिंग घटकों के बिना भी, ग्रेडिएंट मास्किंग की एक उल्लेखनीय डिग्री देखी। हमने तीन डेटासेट: CIFAR10, CIFAR100, और ImageNet, और विज़न ट्रांसफॉर्मर सहित कई अत्याधुनिक आर्किटेक्चर पर स्थिर और पुनरुत्पादनीय परिणाम भी प्राप्त किए। जबकि SQUARE अटैक और जीरो-ऑर्डर PGD जैसे ब्लैक-बॉक्स अटैक ग्रेडिएंट मास्किंग को आंशिक रूप से दूर कर सकते हैं, इसे एक साधारण रैंडम एन्सेम्बल से आसानी से दूर किया जा सकता है। हम एक रैंडम एन्सेम्बल प्रस्तुत करते हैं जो CIFAR10, CIFAR100, और ImageNet पर लगभग अत्याधुनिक ऑटोअटैक सटीकता प्राप्त करता है (मूल क्लासिफायर की सटीकता बनाए रखते हुए), जबकि अनुकूली हमलों के तहत लगभग शून्य सटीकता प्राप्त करता है। यह फ्रंट-एंड मजबूती बैकबोन के अतिरिक्त प्रतिकूल प्रशिक्षण द्वारा और भी बढ़ जाती है। CIFAR10 पर, रैंडम एन्सेम्बल पूर्ण ऑटोअटैक के तहत 90.8±2.5% (99% CI) सटीकता प्राप्त करता है, लेकिन अनुकूली हमलों के तहत केवल 18.2±3.6%। हम इस पेपर का समापन एक व्यावहारिक बचाव के रूप में रैंडम एन्सेम्बल की संभावित उपयोगिता पर चर्चा के साथ करते हैं, और प्रमुख परिणामों को पुन: प्रस्तुत करने के लिए कोड और निर्देश प्रदान करते हैं।

Takeaways, Limitations

Takeaways:
हम दिखाते हैं कि फ्रंट-एंड संवर्द्धन मौजूदा क्लासिफायर की सटीकता को बनाए रखते हुए ग्रेडिएंट-आधारित हमलों के खिलाफ मजबूती में काफी सुधार कर सकता है।
हमारा प्रस्ताव है कि सरल यादृच्छिक समूहों का उपयोग करके ब्लैक बॉक्स हमलों के विरुद्ध बचाव संभव है।
विविध डेटासेट और आर्किटेक्चर में विश्वसनीय और पुनरुत्पादनीय परिणाम प्राप्त करें।
अनुकूली हमलों के प्रति इसकी संवेदनशीलता के बावजूद, यह उच्च ऑटोअटैक सटीकता प्राप्त करने की संभावना का सुझाव देता है।
Limitations:
ब्लैक बॉक्स हमलों या अनुकूली हमलों से पूरी तरह प्रतिरक्षित नहीं।
यादृच्छिक समूहों की दक्षता और व्यावहारिकता पर आगे अनुसंधान की आवश्यकता है।
ग्रेडिएंट मास्किंग की सटीक क्रियाविधि का आगे विश्लेषण आवश्यक है।
👍