यह शोधपत्र तेज़ी से विकसित हो रहे, विविध हार्डवेयर उपकरणों पर अत्याधुनिक AI अनुप्रयोगों के विकास की चुनौतियों का समाधान करने के लिए एक नवीन GPU संचार लाइब्रेरी इंटरफ़ेस, MSCCL++, का प्रस्ताव करता है। मौजूदा सामान्य-उद्देश्य सॉफ़्टवेयर लाइब्रेरीज़ को नए हार्डवेयर परिवर्तनों के अनुकूल होने के लिए बार-बार, समय लेने वाले संशोधनों की आवश्यकता होती है। परिणामस्वरूप, वास्तविक-विश्व अनुप्रयोग अक्सर विशिष्ट कार्यों और हार्डवेयर के लिए अनुकूलित कस्टम सॉफ़्टवेयर स्टैक विकसित करते हैं, जिसके परिणामस्वरूप गैर-पोर्टेबल कोड के कारण अनावश्यक कार्य होता है। MSCCL++ हार्डवेयर अमूर्तन परत को उच्च-स्तरीय, पोर्टेबल इंटरफ़ेस से अलग करके इन चुनौतियों का समाधान करता है। आधार इंटरफ़ेस सॉफ़्टवेयर और हार्डवेयर डेवलपर्स को कस्टम संचार लिखने के लिए एक साझा आधार प्रदान करता है, जबकि उच्च-स्तरीय इंटरफ़ेस विविध कार्यभार और हार्डवेयर परिवेशों के लिए अनुकूलन को सक्षम बनाता है। प्रायोगिक परिणाम NCCL, RCCL, और MSCCL की तुलना में सामूहिक संचार में 5.4 गुना तक और वास्तविक-विश्व AI अनुमान कार्यभार में 15% तक की गति प्रदर्शित करते हैं। वर्तमान में इसका उपयोग Microsoft Azure पर कई AI सेवाओं में किया जाता है और इसे AMD की GPU सामूहिक संचार लाइब्रेरी, RCCL द्वारा भी अपनाया गया है। यह GitHub पर ओपन-सोर्स है।
