इस शोधपत्र में, हम गणितीय अनुमान के क्षेत्र में बड़े पैमाने पर भाषा मॉडल (LLM) के पूर्व-प्रशिक्षण के लिए गणितीय डेटा चयन ढाँचा, MASS (कौशल ग्राफ का उपयोग करके गणितीय डेटा चयन ढाँचा) प्रस्तावित करते हैं। पारंपरिक डेटा चयन विधियों के विपरीत, हम एक कौशल ग्राफ का निर्माण करते हैं जो गणित और अनुमान प्रक्रिया की अनूठी विशेषताओं पर विचार करके गणितीय कौशल और उनके अंतर्संबंधों को कैप्चर करता है। इस ग्राफ का उपयोग करके, हम लक्ष्य डेटासेट को गुणवत्ता स्कोर प्रदान करते हैं और LLM को पूर्व-प्रशिक्षण देने के लिए शीर्ष-रैंक वाले डेटा सबसेट का चयन करते हैं। प्रायोगिक परिणाम प्रदर्शित करते हैं कि MASS विभिन्न मॉडल आकारों (1B और 7B) और पूर्व-प्रशिक्षण डेटासेट (वेब डेटा और सिंथेटिक डेटा) पर कुशल और प्रभावी है। MASS-चयनित सबसेट के साथ प्रशिक्षित मॉडल मूल डेटासेट के साथ प्रशिक्षित मॉडल के समान प्रदर्शन प्राप्त करते हैं जबकि प्रशिक्षण टोकन की संख्या में 50% और 70% की उल्लेखनीय कमी होती है। इसके अलावा, जब समान संख्या में टोकन के साथ प्रशिक्षित किया जाता है, तो MASS-चयनित डेटा के साथ प्रशिक्षित मॉडल मूल डेटासेट के साथ प्रशिक्षित मॉडल की तुलना में क्रमशः 3.3% और 5.9% बेहतर प्रदर्शन करते हैं ।
