दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

युगल एडम के साथ बेहतर एम्बेडिंग

Created by
  • Haebom

लेखक

फेलिक्स स्टोलेनवर्क, टोबियास स्टोलेनवर्क

रूपरेखा

यह शोधपत्र बड़े पैमाने के भाषा मॉडल (एलएलएम) द्वारा अनिसोट्रॉपी नामक एक अवांछनीय गुण वाले शब्द निरूपण सीखने की समस्या पर विचार करता है। शोधकर्ताओं का तर्क है कि एडम ऑप्टिमाइज़र का दूसरा आघूर्ण अनिसोट्रॉपी एम्बेडिंग का कारण है और इस समस्या को कम करने के लिए एक संशोधित ऑप्टिमाइज़र, कपल्ड एडम, का प्रस्ताव करते हैं। प्रायोगिक परिणाम दर्शाते हैं कि कपल्ड एडम एम्बेडिंग की गुणवत्ता में उल्लेखनीय सुधार करता है और पर्याप्त रूप से बड़े डेटासेट पर सुपरऑर्डिनेट और सबऑर्डिनेट, दोनों प्रकार के कार्यों के प्रदर्शन को बढ़ाता है।

Takeaways, Limitations

Takeaways:
हमारा सुझाव है कि एडम ऑप्टिमाइज़र का दूसरा क्षण एलएलएम में अनिसोट्रोपिक एम्बेडिंग समस्या का कारण हो सकता है।
हम दिखाते हैं कि कपल्ड एडम नामक एक नया अनुकूलक अनिसोट्रॉपी समस्या को कम कर सकता है और एलएलएम के प्रदर्शन में सुधार कर सकता है।
यह पर्याप्त रूप से बड़े डेटासेट पर ऊपरी और निचले कार्यों के प्रदर्शन को बेहतर बनाने में योगदान देता है।
Limitations:
प्रस्तावित युग्मित एडम की प्रभावशीलता डेटासेट के आकार पर निर्भर हो सकती है (यह बड़े डेटासेट पर प्रभावी साबित हुई है, लेकिन छोटे डेटासेट पर इसकी प्रभावशीलता भिन्न हो सकती है)।
यह अनिसोट्रॉपी समस्या के मूल कारण का पूर्ण समाधान नहीं हो सकता है (हमने केवल दूसरे क्षण पर ही विचार किया है, तथा इसमें अन्य कारक भी शामिल हो सकते हैं)।
👍