दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

लामा-नेमोट्रॉन: कुशल तर्क मॉडल

Created by
  • Haebom

लेखक

अखियाद बर्कोविच, इताय लेवी, इज़िक गोलान, मोहम्मद डब्बा, रान अल-यानीव, ओमरी पुनी, इदो गैलिल, जच मोशे, तोमर रोनेन, नजीब नबवानी, इदो शाहफ, ओरेन ट्रॉप, एहुद करपास, रान ज़िल्बरस्टीन, जियाकी ज़ेंग, सौम्ये सिंघल, अलेक्जेंडर बुखारिन, यियान झांग, तुगरुल कोनुक, गेराल्ड शेन, अमेय सुनील महाबलेश्वरकर, बिलाल करताल, योशी सुहारा, ओलिवियर डेललेउ, ज़िजिया चेन, ज़ीलिन वांग, डेविड मोसलानेज़ाद, आदि रेंडुचिन्ताला, हाइफ़ेंग कियान, दिमा रेकेश, फ़ेई जिया, सोमशुब्रा मजूमदार, वाहिद नोरूज़ी, वासी उद्दीन अहमद, सीन नरेनथिरन, अलेक्जेंडर फ़िसेक, मेहरज़ाद समदी, जॉक्लिन हुआंग, सिद्धार्थ जैन, इगोर गिटमैन, इवान मोशकोव, वेई डू, शुभम तोशनीवाल, जॉर्ज आर्मस्ट्रांग, ब्रानिस्लाव किसाकैनिन, मतवेई नोविकोव, डारिया गिटमैन, एवेलिना बख्तुरिना, प्रसून वार्ष्णेय, मकेश नरसिम्हन, जेन पोलाक स्कोक्रॉफ्ट, जॉन कमालू, डैन सु, केझी कोंग, मार्कस क्लिगल, रबीह करीमी महाबादी, यिंग लिन, संजीव सतीश, जुपिंदर परमार, प्रीतम गुंडेचा, ब्रैंडन नोरिक, जोसेफ जेनिंग्स, श्रीमाई प्रभुमोये, सैयदा नाहिदा एक्टर, मोस्टोफा पटवारी, अभिनव खट्टर, दीपक नारायणन, रोजर वालेफ, जिमी झांग, बोर-यिंग सु, गुए हुआंग, टेरी कोंग, पार्थ चड्ढा, साहिल जैन, क्रिस्टीन हार्वे, एलाद सेगल, जीनिंग हुआंग, सर्गेई काशीरस्की, रॉबर्ट मैकक्वीन, इज़ी पुटरमैन, जॉर्ज लैम, अरुण वेंकटेशन, शेरी वू, विन्ह गुयेन, मनोज किलारू, एंड्रयू वांग, अन्ना वार्नो, अभिलाष सोमसमुद्रमथ, संदीप भास्कर, माका डोंग, नावे असफ, शाहर मोर, ओमर उलमैन अरगोव, स्कॉट जंकिन, ऑलेक्ज़ेंडर रोमनेंको, पेड्रो लारॉय, मोनिका कटारिया, मार्को रोविनेली, विजी बालास, निकोलस एडेलमैन, अनाहिता भिवंडीवाला, मुथु सुब्रमण्यम, स्मिता इथापे, कार्तिक राममूर्ति, युटिंग वू, सुगुना वार्शिनी वेलुरी, ओमरी अल्मोग, जॉयजीत डॉ, डेनिस फ्रिडमैन, एरिक गैलिनकिन, माइकल इवांस, शाओना घोष, कैथरीन लूना, लियोन डेरज़िंस्की, निक्की पोप, एलीन लॉन्ग, सेठ श्नाइडर, गुइलेर्मो सिमन, टोमाज़ ग्रेज़गोरज़ेक, पाब्लो रिबाल्टा, मोनिका कटारिया, क्रिस एलेक्सियुक, जॉय कॉनवे, त्रिशा सार, एन गुआन, क्रिज़िस्तोफ़ पावेलेक, श्यामला प्रयागा, ओलेक्सी कुचैयेव, बोरिस गिन्सबर्ग, ओलुवाटोबी ओलाबियी, कारी ब्रिस्की, जोनाथन कोहेन, ब्रायन कैटनज़ारो, जोना एल्बेन, योनाटन जिफ़मैन, एरिक चुंग

रूपरेखा

लामा-नेमोट्रॉन श्रृंखला एक ओपन-सोर्स विषम अनुमान मॉडल है जो बेहतर अनुमान प्रदर्शन, कुशल अनुमान गति और एक ओपन लाइसेंस प्रदान करता है जो व्यावसायिक उपयोग की अनुमति देता है। तीन आकारों—नैनो (8B), सुपर (49B), और अल्ट्रा (253B)—में उपलब्ध, यह बेहतर अनुमान थ्रूपुट और मेमोरी दक्षता प्रदान करता है, साथ ही डीपसीक-R1 जैसे अत्याधुनिक अनुमान मॉडलों के साथ प्रतिस्पर्धी भी है। यह लामा 3 मॉडल के न्यूरल आर्किटेक्चर सर्च (NAS), नॉलेज डिस्टिलेशन और अतिरिक्त पूर्व-प्रशिक्षण का उपयोग करके त्वरित अनुमान का उपयोग करता है, जिसके बाद एक अनुमान-संचालित अतिरिक्त प्रशिक्षण चरण होता है जिसमें पर्यवेक्षित शिक्षण फ़ाइन-ट्यूनिंग और बड़े पैमाने पर सुदृढीकरण शिक्षण शामिल है। यह डायनेमिक अनुमान टॉगलिंग का समर्थन करने वाला पहला ओपन-सोर्स मॉडल भी है, जो उपयोगकर्ताओं को अनुमान के दौरान मानक चैट मोड और अनुमान मोड के बीच स्विच करने की अनुमति देता है। हम एलएन-नैनो, एलएन-सुपर और एलएन-अल्ट्रा मॉडल, अतिरिक्त प्रशिक्षण डेटासेट और नेमो, नेमो-एलाइनर और मेगाट्रॉन-एलएम के लिए प्रशिक्षण कोडबेस जारी कर रहे हैं।

Takeaways, Limitations

Takeaways:
खुले स्रोत के रूप में उपलब्ध बड़े पैमाने पर विषम अनुमान मॉडलों के उद्भव से अनुमान मॉडल अनुसंधान और विकास में प्रवेश की बाधा कम हो जाती है।
एक ऐसे मॉडल का सफल विकास जो एक साथ उत्कृष्ट अनुमान प्रदर्शन और दक्षता प्रदान करता है।
गतिशील अनुमान टॉगल सुविधा के साथ उपयोगकर्ता सुविधा में वृद्धि।
वाणिज्यिक उपयोग के लिए खुला लाइसेंस प्रदान करके औद्योगिक प्रयोज्यता का विस्तार करना।
Limitations:
इस पेपर में मॉडल के प्रदर्शन मूल्यांकन का विस्तृत विवरण नहीं है।
अतिरिक्त प्रशिक्षण डेटासेट के आकार और गुणवत्ता के बारे में विशिष्ट जानकारी का अभाव।
विभिन्न अनुमान कार्यों में सामान्यीकरण निष्पादन का आगे मूल्यांकन आवश्यक है।
👍