दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

सोचें कि कैसे सोचें: बड़े तर्क मॉडल में स्वायत्त कठिनाई संज्ञान के साथ अति-विचार को कम करना

Created by
  • Haebom

लेखक

योंगजियांग लियू, हाओक्सी ली, ज़ियाओसॉन्ग मा, जी झांग, सोंग गुओ

रूपरेखा

यह शोधपत्र बड़े पैमाने के अनुमान मॉडलों (LRMs) में अत्यधिक अनुमान की समस्या के समाधान हेतु एक नवीन द्वि-चरणीय फ़ाइन-ट्यूनिंग रणनीति, "थिंक-हाउ-टू-थिंक" (TH2T) का प्रस्ताव करता है। TH2T पहले अनुमान की गहराई को समायोजित करने के लिए मॉडल में कठिनाई स्तर की जागरूकता डालता है, और फिर मध्यवर्ती अनुमान चरणों में अनावश्यक अनुमान पैटर्न की पहचान करके और उन्हें हटाकर अत्यधिक अनुमान को कम करता है। इसे लघु और दीर्घ अनुमान पथों के मिश्रण वाले डेटासेट का उपयोग करके प्रशिक्षित किया जाता है, और 7B, 14B, और 32B मॉडलों पर प्रायोगिक परिणाम दर्शाते हैं कि यह प्रदर्शन को बनाए रखते हुए आसान कार्यों पर अनुमान लागत को 70% से अधिक और कठिन कार्यों पर 40% से अधिक कम करता है।

Takeaways, Limitations

Takeaways:
बड़े पैमाने के भाषा मॉडल में अति-अनुमान समस्या को प्रभावी ढंग से संबोधित करने के लिए एक नवीन विधि प्रस्तुत की गई है।
प्रदर्शन से समझौता किए बिना मॉडल की दक्षता में वृद्धि करें, जबकि अनुमान लागत में उल्लेखनीय कमी लाएं।
किसी कार्य की कठिनाई को पहचानने और उसके अनुसार अनुमान प्रक्रिया को समायोजित करने की मॉडल की क्षमता में सुधार।
मध्यवर्ती अनुमान चरणों में अनावश्यक पुनरावृत्ति या अनावश्यक जानकारी को समाप्त करके अनुमान प्रक्रिया की दक्षता बढ़ाएं।
Limitations:
प्रस्तावित विधि की व्यापकता निर्धारित करने के लिए आगे अनुसंधान की आवश्यकता है (विभिन्न प्रकार की समस्याओं और मॉडलों पर प्रयोग आवश्यक हैं)।
"कठिनाई सम्मोहन" और "अतिरेक सम्मोहन" के विशिष्ट कार्यान्वयन विधियों की विस्तृत व्याख्या का अभाव हो सकता है।
किसी विशिष्ट डेटासेट पर निर्भरता की संभावना है। अन्य डेटासेट पर विस्तार करने पर प्रदर्शन में गिरावट की संभावना है।
👍