दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

तर्क का मिश्रण: बड़े भाषा मॉडल को अनुकूली रणनीतियों के साथ तर्क करना सिखाएं

Created by
  • Haebom

लेखक

ताओ जिओंग, जेवियर हू, वेनयान फैन, शेंगयु झांग

रूपरेखा

चेन-ऑफ-थॉट (CoT) और ट्री-ऑफ-थॉट (ToT) जैसी उन्नत प्रॉम्प्टिंग तकनीकों के साथ जटिल कार्यों में उत्कृष्टता प्राप्त करने वाले बड़े पैमाने के भाषा मॉडल (LLM) की सीमाओं को संबोधित करने के लिए, यह पेपर एक मिक्सचर ऑफ रीजनिंग (MoR) प्रशिक्षण ढांचा प्रस्तुत करता है जो बाहरी प्रॉम्प्ट इंजीनियरिंग के बिना अपर्यवेक्षित और कार्य-अनुकूली तर्क के लिए LLM में विभिन्न तर्क रणनीतियों को एकीकृत करता है। MoR में दो चरण होते हैं: एक 'थॉट जेनरेशन' चरण, जो GPT-4 जैसे मॉडल का उपयोग करके अनुमान श्रृंखला टेम्पलेट्स उत्पन्न करता है, और एक 'SFT डेटासेट निर्माण' चरण, जो पर्यवेक्षित सीखने के लिए टेम्पलेट्स को बेंचमार्क डेटासेट के साथ जोड़ता है। प्रायोगिक परिणाम दिखाते हैं कि MoR CoT प्रॉम्प्टिंग पर 0.730 (2.2% सुधार) और बेसलाइन पर 0.734 (13.5% सुधार) का प्रदर्शन सुधार प्राप्त करता है

Takeaways, Limitations

•
Takeaways:
◦
कार्य-विशिष्ट संकेतों के बिना विभिन्न कार्यों में शक्तिशाली और सामान्यीकृत अनुमान को सक्षम करता है।
◦
यह मौजूदा CoT और ToT प्रॉम्प्टिंग तकनीकों की तुलना में प्रदर्शन में सुधार करता है।
◦
हम एलएलएम की अनुमान क्षमताओं को बढ़ाने के लिए एक कुशल और स्केलेबल ढांचा प्रदान करते हैं।
•
Limitations:
◦
पहुंच सीमित हो सकती है क्योंकि विचार निर्माण चरण के लिए GPT-4 जैसे उच्च-प्रदर्शन मॉडल की आवश्यकता होती है।
◦
MoR के प्रदर्शन लाभ एक विशिष्ट बेंचमार्क डेटासेट के परिणाम हैं, तथा अन्य डेटासेट या कार्यों के लिए सामान्यीकरण हेतु आगे के अध्ययन की आवश्यकता है।
◦
एसएफटी डेटासेट निर्माण चरण में डेटा का आकार और गुणवत्ता अंतिम प्रदर्शन पर महत्वपूर्ण प्रभाव डाल सकती है।
👍
Made with Slashpage