दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

विचार-विलय आसवन

Created by
  • Haebom

लेखक

झानमिंग शेन, ज़ेयू किन, ज़ेनान हुआंग, हाओ चेन, जियाकी हू, यिहोंग ज़ुआंग, गुओशान लू, गैंग चेन, जुनबो झाओ

रूपरेखा

यह शोधपत्र विचार-विलय आसवन (MoT) का प्रस्ताव करता है, जो कई शिक्षक मॉडलों का लाभ उठाकर दीर्घ-दूरी विचार प्रक्रिया (CoT) मॉडलों की अनुमान क्षमताओं का कुशलतापूर्वक आसवन करने की एक नवीन विधि है। एकल शिक्षक मॉडल पर निर्भर पारंपरिक आसवन विधियों की सीमाओं को दूर करने के लिए, MoT कई शिक्षक मॉडलों से मार्गदर्शन को एकीकृत करके एक छात्र मॉडल को प्रशिक्षित करता है। इस पुनरावृत्तीय प्रक्रिया में प्रत्येक शिक्षक मॉडल के लिए छात्र मॉडल को परिष्कृत करना और परिणामों को भार स्थान में विलय करना शामिल है। केवल कुछ उच्च-गुणवत्ता वाले CoT नमूनों का उपयोग करके, प्रतिस्पर्धी गणित बेंचमार्क पर Qwen3-14B छात्र मॉडल पर MoT लागू करने पर, यह विधि DEEPSEEK-R1, QWEN3-30B-A3B, QWEN3-32B, और OPENAI-O1 जैसे शक्तिशाली मॉडलों से बेहतर प्रदर्शन करती है। MoT एकल-शिक्षक आसवन और सरल बहु-शिक्षक एकीकरण विधियों से बेहतर प्रदर्शन करता है, अति-फिटिंग को कम करता है और वितरण बदलाव और समान रूप से उच्च-गुणवत्ता वाले शिक्षक मॉडलों के प्रति मजबूती प्रदर्शित करता है। इसके अलावा, यह भयावह विस्मृति को कम करता है, गणितीय क्षेत्र से परे सामान्य तर्क को बढ़ाता है, और बेहतर शिक्षक मॉडल विकसित करता है। ये परिणाम दर्शाते हैं कि MoT विविध शिक्षक मॉडलों से लघु-छात्र मॉडलों में दीर्घकालिक CoT क्षमताओं को कुशलतापूर्वक आसुत करने की एक सरल और मापनीय विधि है।

Takeaways, Limitations

Takeaways:
कई शिक्षक मॉडलों का लाभ उठाकर CoT मॉडल की अनुमान क्षमताओं को कुशलतापूर्वक निकालने के लिए एक नवीन विधि प्रस्तुत की गई है।
उच्च गुणवत्ता वाले डेटा की छोटी मात्रा के साथ भी उत्कृष्ट प्रदर्शन प्राप्त करें।
मौजूदा एकल-शिक्षक आसवन और बहु-शिक्षक एकीकरण विधियों की तुलना में बेहतर प्रदर्शन और मजबूती।
भयावह विस्मृति में कमी और सामान्य तर्क कौशल में सुधार
बेहतर शिक्षक मॉडल विकसित करने की संभावना का सुझाव देना
Limitations:
इस शोधपत्र में प्रस्तुत प्रयोगात्मक परिणाम मुख्यतः प्रतिस्पर्धी गणित मानकों तक सीमित हैं। अन्य क्षेत्रों में उनकी सामान्यता निर्धारित करने के लिए और अधिक शोध की आवश्यकता है।
विभिन्न शिक्षक मॉडलों के चयन और विलय की रणनीतियों पर अनुकूलन अनुसंधान की आवश्यकता है।
MoT की कम्प्यूटेशनल लागत और मेमोरी दक्षता का आगे विश्लेषण आवश्यक है।
👍