यह शोधपत्र एक नवीन ढाँचा, MachineLearningLM, प्रस्तुत करता है जो वृहद्-स्तरीय भाषा मॉडलों (LLM) की संदर्भ-संवेदनशील अधिगम (ICL) क्षमताओं को बढ़ाता है। MachineLearningLM को लाखों संरचित कारणात्मक मॉडलों (SCM) से उत्पन्न विभिन्न प्रकार के मशीन लर्निंग (ML) कार्यों का उपयोग करके पूर्व-प्रशिक्षित किया जाता है। विशेष रूप से, यह संख्यात्मक मॉडलिंग की सुदृढ़ता बढ़ाने के लिए LLM में एक यादृच्छिक वन-आधारित निर्णय-निर्माण रणनीति का समावेश करता है, और टोकन-कुशल संकेतों के माध्यम से प्रति संदर्भ विंडो में अधिक उदाहरणों को संसाधित करके थ्रूपुट को बढ़ाता है। प्रायोगिक परिणाम दर्शाते हैं कि MachineLearningLM विभिन्न डोमेन में गैर-वितरित सारणीबद्ध डेटा वर्गीकरण कार्यों पर मौजूदा सुदृढ़ LLM बेसलाइन मॉडलों से औसतन 15% बेहतर प्रदर्शन करता है, जो एक उल्लेखनीय मल्टी-शॉट स्केलिंग नियम प्रदर्शित करता है, जिसमें संदर्भ के भीतर उदाहरणों की संख्या बढ़ने के साथ सटीकता एकसमान रूप से बढ़ती जाती है। इसके अलावा, यह सामान्य चैट कार्यक्षमता, ज्ञान और अनुमान क्षमताओं को बनाए रखता है।
