[공지사항]을 빙자한 안부와 근황 
Show more

दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

सार से अधिक शैली: शैलीगत प्रतिकृति के माध्यम से तर्क को आसुत भाषा मॉडल

Created by
  • Haebom

लेखक

फिलिप लिपमैन, जी यांग

रूपरेखा

इस शोधपत्र में, हम जाँच करते हैं कि आसुत मॉडल, ज्ञान आसवन प्रक्रिया के दौरान मूल मॉडल की तर्क प्रक्रिया में प्रकट होने वाले सतही शैली प्रतिमानों (संरचनात्मक और शाब्दिक प्रतिमानों) को कितना सीखता है ताकि एक बड़े पैमाने के भाषा मॉडल (LLM) की तर्क क्षमता में सुधार हो सके। इसके लिए, हम सफल तर्क प्रक्रियाओं के संरचनात्मक और शाब्दिक प्रतिमानों का विश्लेषण करते हैं और आसुत मॉडल की तर्क क्षमता पर उनके प्रभावों का सटीक विश्लेषण करने के लिए दो नए तर्क ट्रेस डेटासेट (उभरते तर्क ट्रेस और एक कृत्रिम डेटासेट जो शैली प्रतिमानों की कृत्रिम रूप से प्रतिकृति बनाता है) प्रस्तुत करते हैं। प्रायोगिक परिणाम दर्शाते हैं कि सिंथेटिक डेटासेट पर प्रशिक्षित मॉडल समान प्रदर्शन प्राप्त करते हैं, जिससे यह पता चलता है कि आसुत तर्क क्षमता सतही शैली प्रतिमानों पर अत्यधिक निर्भर करती है। आश्चर्यजनक रूप से, हम देखते हैं कि प्रदर्शन तब भी बेहतर होता है जब सिंथेटिक ट्रेस को गलत उत्तरों की ओर ले जाने के लिए संशोधित किया जाता है। इससे पता चलता है कि शैली प्रतिमानों का उपयोग विभिन्न मॉडलों में LLM की तर्क क्षमता को कुशलतापूर्वक बेहतर बनाने के लिए किया जा सकता है।

____T47911_____, ____T47912_____

Takeaways:
हम एलएलएम तर्क क्षमता में सुधार के लिए ज्ञान आसवन प्रक्रिया में सतही शैली पैटर्न के महत्व को उजागर करते हैं।
शैली पैटर्न का उपयोग करके एलएलएम अनुमान क्षमता में कुशलतापूर्वक सुधार की संभावना का सुझाव देना।
विभिन्न मॉडल परिवारों पर लागू अनुमान क्षमता में सुधार करने के लिए एक तकनीक की प्रस्तुति।
Limitations:
सिंथेटिक डेटासेट की सीमाएं: वे वास्तविक दुनिया की अनुमान प्रक्रियाओं की जटिलता को पूरी तरह से प्रतिबिंबित नहीं कर सकते हैं।
शैली पैटर्न की सामान्यीकरणीयता: संभावना है कि वे किसी विशेष मॉडल या डेटासेट तक सीमित होंगे।
सिंथेटिक ट्रेसों में प्रदर्शन सुधार के कारण का पता लगाने के लिए आगे विश्लेषण की आवश्यकता है, जो गलत उत्तरों की ओर ले जाते हैं।
👍