यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
MERaLiON-SpeechEncoder: सिंगापुर और उसके बाहर के लिए एक भाषण आधार मॉडल की ओर
Created by
Haebom
लेखक
मुहम्मद हुजैफा, गेयू लिन, तियानची लियू, हार्दिक बी. सेलर, के मिन टैन, तरुण के. वांगानी, क्यूओंगकिओंग वांग, जेरेमी एच.एम. वोंग, जिनयांग वू, नैन्सी एफ. चेन, ऐ ती अव
रूपरेखा
MERaLiON-SpeechEncoder सिंगापुर के राष्ट्रीय बहुविधीय वृहद भाषा मॉडल कार्यक्रम के एक भाग के रूप में विकसित एक आधारभूत मॉडल है, जिसे विभिन्न निम्न-स्तरीय वाक् अनुप्रयोगों का समर्थन करने के लिए डिज़ाइन किया गया है। यह मुख्य रूप से सिंगापुर में बोली जाने वाली अंग्रेज़ी का समर्थन करता है, और भविष्य में अन्य भाषाओं का समर्थन करने के लिए डेटासेट का विस्तार किया जाएगा। इसे मास्क्ड भाषा मॉडलिंग पर आधारित स्व-पर्यवेक्षित शिक्षण पद्धति का उपयोग करके 200,000 घंटों के अनलेबल्ड वाक् डेटा का उपयोग करके शुरू से ही पूर्व-प्रशिक्षित किया गया था। प्रशिक्षण प्रक्रिया और हाइपरपैरामीटर ट्यूनिंग प्रयोगों का विवरण शामिल है, जो वाक् पहचान के लिए तात्कालिक, सिंगापुर-विशिष्ट वाक् बेंचमार्क सुधारों को प्रदर्शित करते हैं, साथ ही 10 अन्य वाक् कार्यों पर अत्याधुनिक वाक् एनकोडर के साथ प्रतिस्पर्धात्मक बने रहते हैं। हम इस मॉडल को सार्वजनिक रूप से उपलब्ध कराकर सिंगापुर और उसके बाहर अनुसंधान को समर्थन देने का संकल्प लेते हैं।
Takeaways, Limitations
•
Takeaways:
◦
सिंगापुर और दक्षिण पूर्व एशिया की वाक् प्रसंस्करण आवश्यकताओं के अनुरूप एक आधारभूत मॉडल प्रदान करना।
◦
200,000 घंटे के बड़े पैमाने के लेबल रहित भाषण डेटा का उपयोग करते हुए स्व-पर्यवेक्षित सीखने पर आधारित एक प्रभावी पूर्व-प्रशिक्षण पद्धति प्रस्तुत की गई है।
◦
बेहतर वाक् पहचान प्रदर्शन, विशेष रूप से सिंगापुरी अंग्रेजी वाक् पहचान के लिए।
◦
आवाज संबंधी कार्यों की एक विस्तृत श्रृंखला में अत्याधुनिक प्रदर्शन प्राप्त करना।
◦
मॉडल प्रकटीकरण के माध्यम से अनुसंधान विस्तार का समर्थन करना।
•
Limitations:
◦
वर्तमान में मुख्य रूप से सिंगापुर अंग्रेजी पर ध्यान केंद्रित किया गया है, अन्य भाषाओं के लिए समर्थन अभी भी विस्तारित किया जा रहा है।
◦
विभिन्न भाषाओं के लिए डेटासेट का विस्तार करने की आवश्यकता।
