यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
यह शोधपत्र इस बात पर प्रकाश डालता है कि विभिन्न तौर-तरीकों को संभालने के लिए आवश्यक विषम मॉडल आर्किटेक्चर के कारण, सर्वव्यापी एलएलएम (बड़े पैमाने के भाषा मॉडल) का प्रशिक्षण एक बड़ी चुनौती बना हुआ है, जिसके लिए बड़े पैमाने के प्रशिक्षण हेतु परिष्कृत सिस्टम डिज़ाइन की आवश्यकता होती है। मौजूदा ढाँचे आमतौर पर मॉडल परिभाषा और समानांतर तर्क को आपस में जोड़ते हैं, जिससे मापनीयता सीमित हो जाती है और संपूर्ण सर्वव्यापी प्रशिक्षण के लिए महत्वपूर्ण इंजीनियरिंग ओवरहेड होता है। इसके जवाब में, हम VeOmni प्रस्तुत करते हैं, जो सर्वव्यापी एलएलएम विकास को गति देने के लिए एक मॉड्यूलर और कुशल प्रशिक्षण ढाँचा है। VeOmni मॉडल-केंद्रित वितरित रेसिपी प्रस्तुत करता है जो संचार को गणना से अलग करता है, जिससे सर्वव्यापी एलएलएम में कुशल 3D समानांतर प्रसंस्करण संभव होता है। इसमें एक लचीला कॉन्फ़िगरेशन इंटरफ़ेस भी है जो न्यूनतम कोड परिवर्तनों के साथ नए तौर-तरीकों के निर्बाध एकीकरण को सक्षम बनाता है। VeOmni का उपयोग करते हुए, हम 2,800 टोकन/सेकंड/GPU थ्रूपुट पर 30B मापदंडों के साथ विशेषज्ञों (MoE) मॉडल के एक सर्वव्यापी मिश्रण को प्रशिक्षित करते हैं और 128 GPU पर 3D समानांतरता के साथ 160K संदर्भ लंबाई तक स्केल करते हैं, जो बड़े पैमाने पर सर्वव्यापी LLM प्रशिक्षण के लिए उत्कृष्ट दक्षता और मापनीयता का प्रदर्शन करता है।
Takeaways, Limitations
•
Takeaways:
◦
हम VeOmni फ्रेमवर्क प्रस्तुत करते हैं, जो सर्वव्यापी LLM प्रशिक्षण की दक्षता और मापनीयता में महत्वपूर्ण सुधार करता है।
◦
मॉडल परिभाषा और संचार को अलग करने से 3D समानांतर प्रसंस्करण के माध्यम से कुशल बड़े पैमाने पर प्रशिक्षण संभव हो जाता है।
◦
नए तौर-तरीकों को एकीकृत करने के लिए एक लचीला कॉन्फ़िगरेशन इंटरफ़ेस प्रदान करता है।
◦
हमने प्रयोगात्मक रूप से प्रदर्शित किया है कि 30B पैरामीटर वाले एक सर्वव्यापी MoE मॉडल को 128 GPU पर कुशलतापूर्वक प्रशिक्षित किया जा सकता है।
•
Limitations:
◦
VeOmni फ्रेमवर्क की व्यावहारिक प्रयोज्यता और सामान्यीकरण प्रदर्शन को निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता है।
◦
विभिन्न पैमानों और विभिन्न हार्डवेयर वातावरणों में ओमनीमॉडल एलएलएम के लिए आगे के प्रदर्शन मूल्यांकन की आवश्यकता है।
◦
किसी विशिष्ट हार्डवेयर परिवेश (128 GPU) पर निर्भरता हो सकती है। अन्य परिवेशों में सामान्यीकरण प्रदर्शन की पुष्टि आवश्यक है।
