इस पत्र में, हम दर्शाते हैं कि बड़े पैमाने के भाषा मॉडल (LLM) का फ़ाइन-ट्यूनिंग प्रदर्शन प्रशिक्षण डेटा मिश्रण संरचना पर अत्यधिक निर्भर करता है, लेकिन इष्टतम डेटा मिश्रण अनुपात का चयन एक मैनुअल और अनुमान-निर्भर प्रक्रिया है। इसलिए, हम TASKPGM प्रस्तुत करते हैं, जो एक व्यवस्थित और मापनीय ढाँचा है जो मार्कोव रैंडम फ़ील्ड (MRF) पर एक ऊर्जा फ़ंक्शन को न्यूनतम करके निरंतर कार्य अनुपातों का चयन करता है। TASKPGM, जेन्सन शैनन डाइवर्जेंस और पॉइंटवाइज़ म्यूचुअल इन्फ़ॉर्मेशन जैसे व्यवहारगत अंतरों का उपयोग करके कार्य संबंधों को मॉडल करता है, जो एकल-कार्य फ़ाइन-ट्यूनिंग मॉडल के पूर्वानुमानित वितरण से गणना किए जाते हैं। यह समूह बाधाओं के अंतर्गत बंद-रूप समाधान प्रदान करता है और कार्यों में प्रतिनिधित्व और विविधता के संतुलन की गारंटी देता है। यह Llama 2 और Mistral के साथ-साथ MMLU और BIGBench जैसे मूल्यांकन सेटों पर लगातार अनुभवजन्य प्रदर्शन लाभ दर्शाता है, जिससे कार्य प्रभाव और मिश्रण संरचना में व्याख्या योग्य अंतर्दृष्टि मिलती है।
