यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
डिफ्यूजन लैंग्वेज मॉडल (DLM) समानांतर अनुक्रम निर्माण और लचीले टोकन क्रम प्रदान करते हैं, लेकिन द्विदिशात्मक ध्यान की लागत और उच्च-गुणवत्ता वाले आउटपुट के लिए आवश्यक कई शोधन चरणों के कारण उनकी अनुमान गति स्वतःप्रत्यागामी मॉडल की तुलना में धीमी होती है। यह शोधपत्र DLM की एक पूर्व-अनदेखी विशेषता पर प्रकाश डालता है: प्रारंभिक उत्तर अभिसरण। कई मामलों में, सही उत्तर अंतिम डिकोडिंग चरण के मध्य में भी आंतरिक रूप से पहचाना जा सकता है। इस अवलोकन के आधार पर, यह शोधपत्र Prophet का प्रस्ताव करता है, जो एक तेज़, प्रशिक्षण-मुक्त डिकोडिंग प्रतिमान है जो प्रारंभिक कमिट डिकोडिंग को सक्षम बनाता है। Prophet गतिशील रूप से निर्धारित करता है कि शोधन जारी रखना है या शीर्ष दो पूर्वानुमान उम्मीदवारों के बीच विश्वास अंतर के आधार पर शेष सभी टोकन को एक साथ डिकोड करना है। यह मौजूदा DLM कार्यान्वयनों के साथ सहजता से एकीकृत हो जाता है और इसके लिए किसी अतिरिक्त ओवरहेड या प्रशिक्षण की आवश्यकता नहीं होती है। विभिन्न कार्यों में LLaDA-8B और Dream-7B पर प्रायोगिक परिणाम दर्शाते हैं कि Prophet उच्च निर्माण गुणवत्ता बनाए रखते हुए डिकोडिंग चरणों की संख्या को 3.4 गुना तक कम कर देता है। यह डीएलएम डिकोडिंग को इस समस्या के रूप में पुनर्परिभाषित करता है कि नमूनाकरण कब रोकना है, तथा यह दर्शाता है कि प्रारंभिक डिकोडिंग अभिसरण डीएलएम अनुमान को तीव्र करने के लिए एक सरल किन्तु शक्तिशाली तंत्र है।
Takeaways, Limitations
•
Takeaways:
◦
हम एक नवीन विधि प्रस्तुत करते हैं जो डीएलएम के प्रारंभिक उत्तर अभिसरण परिघटना का उपयोग करके डिकोडिंग गति में महत्वपूर्ण सुधार करती है।
◦
एक कुशल विधि जिसे बिना किसी अतिरिक्त प्रशिक्षण के मौजूदा DLM कार्यान्वयन में एकीकृत किया जा सकता है।
◦
डिकोडिंग चरणों की संख्या को 3.4 गुना तक कम करते हुए उच्च उत्पादन गुणवत्ता बनाए रखें।
◦
डीएलएम अनुमान को त्वरित करने पर एक नया परिप्रेक्ष्य (नमूनाकरण कब रोकना है, यह निर्णय लेने की समस्या के रूप में पुनर्परिभाषित)।
•
Limitations:
◦
प्रस्तावित विधि की प्रभावशीलता डीएलएम मॉडल और प्रयुक्त कार्य के आधार पर भिन्न हो सकती है।
◦
विश्वास अंतर के आधार पर शीघ्र समाप्ति निर्णय लेने के तरीकों के संभावित अनुकूलन का पता लगाने के लिए आगे अनुसंधान की आवश्यकता है।
◦
यह केवल कुछ प्रकार के DLM पर ही लागू हो सकता है।
◦
विभिन्न मॉडलों और कार्यों के साथ अधिक व्यापक प्रयोग की आवश्यकता है।
