दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

फेडरेटेड लर्निंग में बैकडोर हमलों को कम करने के लिए एक विज़न-लैंग्वेज प्री-ट्रेनिंग मॉडल-निर्देशित दृष्टिकोण

Created by
  • Haebom

लेखक

केके गाई, डोंगजुए वांग, जिंग यू, लिहुआंग झू, क्यूई वू

रूपरेखा

यह शोधपत्र CLIP-Fed का प्रस्ताव करता है, जो विषम क्लाइंट डेटा वितरणों के अंतर्गत फ़ेडरेटेड लर्निंग (FL) में बैकडोर हमलों से बचाव के लिए एक नवीन ढाँचा है। समरूप डेटा वितरणों या स्वच्छ सर्वर डेटासेट पर निर्भर मौजूदा रक्षा तकनीकों की सीमाओं को दूर करने के लिए, CLIP-Fed दृश्य-भाषा पूर्व-प्रशिक्षित मॉडलों की ज़ीरो-शॉट लर्निंग क्षमताओं का लाभ उठाता है। यह गैर-IID डेटा वितरणों के प्रभाव को कम करने के लिए पूर्व- और पश्च-एकत्रीकरण रक्षा रणनीतियों को एकीकृत करता है। यह क्लाइंट नमूनों के बिना एक बहु-मॉडल वृहद भाषा मॉडल और आवृत्ति विश्लेषण का उपयोग करके सर्वर डेटासेट का निर्माण और संवर्द्धन करता है, गोपनीयता संबंधी चिंताओं का समाधान करता है और विभिन्न ट्रिगर्स के विरुद्ध सुरक्षा को बढ़ाता है। इसके अलावा, बैकडोर नमूनों के कारण होने वाले वर्ग प्रोटोटाइप पूर्वाग्रह को दूर करने और ट्रिगर पैटर्न और लक्ष्य लेबल के बीच सहसंबंधों को दूर करने के लिए, हम प्रोटोटाइप कंट्रास्टिव लॉस और कुल्लबैक-लीब्लर डाइवर्जेंस का उपयोग करके संवर्धित डेटासेट पर वैश्विक मॉडल और CLIP ज्ञान को संरेखित करते हैं। CIFAR-10 और CIFAR-10-LT डेटासेट पर प्रायोगिक परिणाम दर्शाते हैं कि CLIP-Fed मौजूदा अत्याधुनिक तकनीकों की तुलना में औसत आक्रमण सफलता दर (ASR) को क्रमशः 2.03% और 1.35% तक कम करता है, तथा औसत मॉडल सटीकता (MA) को क्रमशः 7.92% और 0.48% तक सुधारता है।

Takeaways, Limitations

Takeaways:
विषम डेटा वितरण वातावरण में फेडरेटेड लर्निंग बैकडोर हमलों से बचाव के लिए एक प्रभावी समाधान।
दृश्य-भाषा शब्दकोश सीखने के मॉडल की शून्य-शॉट सीखने की क्षमता का लाभ उठाकर मौजूदा रक्षा तकनीकों की सीमाओं पर काबू पाना।
गोपनीयता को ध्यान में रखते हुए सर्वर डेटासेट के निर्माण और संवर्द्धन के लिए एक रणनीति प्रस्तुत की गई है।
प्रोटोटाइप कंट्रास्ट लॉस और कुल्बैक-लीब्लर डाइवर्जेंस का उपयोग करके मॉडल ज्ञान संरेखण के माध्यम से बैकडोर हमले के बचाव प्रदर्शन में सुधार करना।
यह मौजूदा अत्याधुनिक तकनीकों की तुलना में बेहतर प्रदर्शन दर्शाता है।
Limitations:
प्रस्तावित विधि की प्रभावशीलता विशिष्ट डेटासेट और बैकडोर हमले के तरीकों तक सीमित हो सकती है।
विभिन्न प्रकार के बैकडोर हमलों के लिए सामान्यीकृत प्रदर्शन मूल्यांकन की आवश्यकता होती है।
बहुविधीय बड़े पैमाने के भाषा मॉडल के उपयोग के कारण कम्प्यूटेशनल लागत में संभावित वृद्धि।
वास्तविक दुनिया के संघीय शिक्षण वातावरण में इसकी प्रयोज्यता और व्यावहारिकता पर और अधिक शोध की आवश्यकता है।
👍