दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

DIDS: बड़े भाषा मॉडल प्रशिक्षण के लिए डोमेन प्रभाव-जागरूक डेटा नमूनाकरण

Created by
  • Haebom

लेखक

वेइजी शि, जिपेंग झांग, यागुआंग वू, जिंगझी फांग, रुइयुआन झांग, जियाजी जू, जिया झू, हाओ चेन, याओ झाओ, सिरुई हान, ज़ियाओफांग झोउ

रूपरेखा

यह पत्र इस बात पर प्रकाश डालता है कि डोमेन नमूनाकरण रणनीतियाँ विभिन्न डोमेन के डेटा से प्रशिक्षित बड़े पैमाने के भाषा मॉडल (एलएलएम) में उप-कार्यों के प्रदर्शन को महत्वपूर्ण रूप से प्रभावित करती हैं। इसलिए, हम DIDS (डोमेन इम्पैक्ट-अवेयर डेटा सैंपलिंग) का प्रस्ताव करते हैं, जो एक डेटा सैंपलिंग तकनीक है जो डोमेन प्रभाव पर विचार करती है। DIDS सीखने के प्रभावों के आधार पर प्रशिक्षण डेटा को समूहीकृत करने के लिए एक ग्रेडिएंट क्लस्टरिंग एल्गोरिदम का उपयोग करता है और कम्प्यूटेशनल लागत को कम करने के लिए प्रॉक्सी भाषा मॉडल और आयाम में कमी तकनीकों का लाभ उठाता है। इसके अलावा, हम उप-कार्यों में मॉडल के आउटपुट वितरण पर डोमेन-विशिष्ट पैरामीटर अपडेट के प्रभाव को मापने के लिए एक फिशर सूचना मैट्रिक्स (FIM)-आधारित मीट्रिक विकसित करते हैं। फिर हम इष्टतम नमूना अनुपात निर्धारित करने के लिए FIM-आधारित डोमेन प्रभाव मूल्यांकन को हानि सीखने के साथ जोड़ते हैं

Takeaways, Limitations

Takeaways:
हम एक कुशल डेटा नमूनाकरण रणनीति प्रस्तुत करते हैं जो डोमेन-विशिष्ट महत्व पर विचार करती है।
ग्रेडिएंट क्लस्टरिंग और FIM-आधारित मेट्रिक्स का लाभ उठाकर डोमेन प्रभाव को सटीक रूप से मापें।
उपकार्य निष्पादन में सुधार करते हुए प्रशिक्षण दक्षता बनाए रखें।
हम प्रस्तावित विधि की प्रभावशीलता का प्रयोगात्मक सत्यापन करते हैं।
Limitations:
प्रॉक्सी भाषा मॉडल और आयाम न्यूनीकरण तकनीक का चुनाव प्रदर्शन को प्रभावित कर सकता है।
एफआईएम-आधारित संकेतक गणनाएं कम्प्यूटेशनल रूप से महंगी हो सकती हैं।
यह कुछ क्षेत्रों में पक्षपातपूर्ण परिणाम दिखा सकता है।
विभिन्न उपकार्यों और डोमेन में सामान्यीकरण प्रदर्शन के अतिरिक्त सत्यापन की आवश्यकता है।
👍