इस शोधपत्र में, हम एक नवीन दृष्टिकोण, VFedMH (वर्टिकल फ़ेडरेटेड लर्निंग फॉर ट्रेनिंग मल्टीपल हेटेरोजेनियस मॉडल्स) का प्रस्ताव रखते हैं, जिसका उद्देश्य ऊर्ध्वाधर रूप से वितरित शिक्षण (VFL) में प्रतिभागियों के बीच विषम स्थानीय मॉडलों के कारण उत्पन्न अनुकूलन अभिसरण और सामान्यीकरण समस्याओं का समाधान करना है। VFedMH अग्रप्रसारण प्रक्रिया के दौरान प्रत्येक प्रतिभागी के ज्ञान के स्थानीय एम्बेडिंग को एकत्रित करने पर केंद्रित है। प्रतिभागियों के स्थानीय एम्बेडिंग मानों की सुरक्षा के लिए, हम एक हल्के ब्लाइंडिंग फ़ैक्टर-आधारित एम्बेडिंग सुरक्षा विधि का प्रस्ताव करते हैं। निष्क्रिय पक्ष स्थानीय एम्बेडिंग में ब्लाइंडिंग फ़ैक्टर को इंजेक्ट करता है और उन्हें सक्रिय पक्ष को प्रेषित करता है, और सक्रिय पक्ष स्थानीय एम्बेडिंग को एकत्रित करके वैश्विक ज्ञान एम्बेडिंग प्राप्त करता है, जो फिर निष्क्रिय पक्ष को प्रेषित किए जाते हैं। निष्क्रिय पक्ष वैश्विक एम्बेडिंग का उपयोग करके अपने स्थानीय विषम नेटवर्क में अग्रप्रसारण करता है। चूँकि निष्क्रिय पक्ष के पास नमूना लेबल नहीं होते हैं, इसलिए वह स्थानीय रूप से स्थानीय मॉडल ग्रेडिएंट की गणना नहीं कर सकता है, जिसे सक्रिय पक्ष स्थानीय विषम मॉडल ग्रेडिएंट की गणना का समर्थन करके दूर करता है। प्रत्येक प्रतिभागी विषमांगी मॉडल ग्रेडिएंट का उपयोग करके अपना स्थानीय मॉडल सीखता है, और लक्ष्य प्रत्येक स्थानीय विषमांगी मॉडल के हानि मान को न्यूनतम करना होता है। व्यापक प्रयोगों से पता चलता है कि VFedMH एक साथ कई विषमांगी मॉडलों को प्रशिक्षित करने के लिए विषमांगी अनुकूलन का उपयोग करता है और कुछ अत्याधुनिक विधियों से बेहतर प्रदर्शन करता है।
