यह शोधपत्र बड़े पैमाने के भाषा मॉडलों (एलएलएम) की गणितीय तर्क क्षमताओं को बेहतर बनाने के लिए सिंथेटिक डेटा निर्माण रणनीतियों का एक व्यवस्थित अध्ययन प्रस्तुत करता है। पिछले अध्ययनों की भिन्न व्यवस्थाओं के कारण सिंथेटिक डेटा रणनीतियों की तुलना करने में आने वाली कठिनाइयों को दूर करने के लिए, हम एलएलएम गणितीय तर्क डेटा संश्लेषण आकलन के लिए ढाँचा (FLAMES) प्रस्तावित करते हैं। दस मौजूदा रणनीतियों और विभिन्न कारकों का प्रयोगात्मक विश्लेषण करके, हम सिंथेटिक डेटा की कठिनाई और विविधता के बीच इष्टतम संतुलन के बारे में अंतर्दृष्टि प्रदान करते हैं। विशेष रूप से, हम पाते हैं कि समस्या की जटिलता को बढ़ाने वाले डेटा एजेंट अधिकांश गणितीय मेट्रिक्स में सबसे अधिक सुधार प्रदान करते हैं। इसके अलावा, हम यह भी प्रदर्शित करते हैं कि सीमित डेटा निर्माण बजट के तहत, केवल विश्वसनीय समाधानों के बजाय अधिक समस्याओं को शामिल करना महत्वपूर्ण है। FLAMES प्रयोगों के परिणामों के आधार पर, हम दो नवीन डेटा संश्लेषण रणनीतियाँ डिज़ाइन करते हैं जो क्रॉस-डोमेन सामान्यीकरण और सुदृढ़ता में सुधार करती हैं, और FLAMES डेटासेट विकसित करते हैं, जो मौजूदा और नवीन रणनीतियों को जोड़ता है। FLAMES डेटासेट कई बेंचमार्क में मौजूदा डेटासेट से बेहतर प्रदर्शन करता है, जिनमें ओलंपियाडबेंच, कॉलेजमैथ, GSMPlus और MATH शामिल हैं। जब Qwen2.5-Math-7B मॉडल को FLAMES डेटासेट पर परिष्कृत किया गया, तो इसने MATH में 81.4% सटीकता प्राप्त की, जो Llama3 405B, GPT-4o और क्लाउड 3.5 सॉनेट से बेहतर प्रदर्शन था।
