यह शोधपत्र फ्लॉक (FLock) का प्रस्ताव करता है, जो बड़े पैमाने के भाषा मॉडल (LLM) के वितरित प्रशिक्षण के लिए एक विकेन्द्रीकृत ढाँचा है। जहाँ पारंपरिक फ़ेडरेटेड लर्निंग (FL) एकल विफलता बिंदुओं और केंद्रीकृत सर्वरों से होने वाले दुर्भावनापूर्ण हमलों के प्रति संवेदनशील है, वहीं फ्लॉक एक ब्लॉकचेन-आधारित विश्वास परत और आर्थिक प्रोत्साहनों को एकीकृत करता है ताकि अविश्वसनीय प्रतिभागियों के बीच एक सुरक्षित और ऑडिट करने योग्य सहयोग प्रोटोकॉल प्रदान किया जा सके। हम एक सुरक्षित, बहु-डोमेन, विकेन्द्रीकृत वातावरण में 70B-पैरामीटर LLM को फाइन-ट्यूनिंग करने का पहला अनुभवजन्य सत्यापन प्रस्तुत करते हैं, जो प्रयोगात्मक रूप से दुर्भावनापूर्ण हमले की सफलता दर में 68% से अधिक की कमी और स्वतंत्र रूप से प्रशिक्षित मॉडलों की तुलना में बेहतर क्रॉस-डोमेन सामान्यीकरण प्रदर्शन को प्रदर्शित करता है।
