दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

ज्ञान ग्राफ़ निर्माण के लिए स्वचालित प्रॉम्प्ट अनुकूलन: एक अनुभवजन्य अध्ययन से अंतर्दृष्टि

Created by
  • Haebom

लेखक

नंदना मिहिन्दुकुलसुरिया, निहारिका एस. डिसूजा, फैसल चौधरी, होर्स्ट सैमुलोविट्ज़

रूपरेखा

यह शोधपत्र एक प्रायोगिक अध्ययन प्रस्तुत करता है जो ज्ञान ग्राफ (KG) निर्माण में मैन्युअल रूप से प्रॉम्प्ट लिखने के बजाय एक बड़े पैमाने के भाषा मॉडल (LLM) का उपयोग करके एक स्वचालित प्रॉम्प्ट अनुकूलन तकनीक का उपयोग करता है। हम पाठ से 3-टपल (विषय-संबंध-वस्तु) निकालने के मूलभूत कार्य पर ध्यान केंद्रित करते हैं, और दो डेटासेट, SynthIE और REBEL का उपयोग करके विभिन्न सेटिंग्स (प्रॉम्प्टिंग रणनीति, LLM मॉडल, स्कीमा जटिलता, इनपुट टेक्स्ट लंबाई और विविधता, अनुकूलन सूचकांक, और डेटासेट) के तहत तीन स्वचालित प्रॉम्प्ट अनुकूलन तकनीकों (DSPy, APE, और TextGrad) के प्रदर्शन की तुलना करते हैं। प्रायोगिक परिणाम दर्शाते हैं कि स्वचालित प्रॉम्प्ट अनुकूलन तकनीक मानव-लिखित प्रॉम्प्ट के समान प्रदर्शन प्राप्त करती है, और स्कीमा जटिलता और टेक्स्ट लंबाई बढ़ने के साथ प्रदर्शन में सुधार अधिक स्पष्ट होता जाता है।

Takeaways, Limitations

•
Takeaways:
◦
हम अनुभवजन्य रूप से प्रदर्शित करते हैं कि एलएलएम का उपयोग करके ज्ञान ग्राफ निर्माण की दक्षता को स्वचालित शीघ्र अनुकूलन तकनीक के माध्यम से बेहतर बनाया जा सकता है।
◦
जैसे-जैसे स्कीमा जटिलता और पाठ की लंबाई बढ़ती है, स्वचालित प्रॉम्प्ट अनुकूलन का प्रभाव अधिक महत्वपूर्ण हो जाता है।
◦
मैन्युअल रूप से संकेत लिखने के प्रयास और लागत को कम करने की संभावना प्रस्तुत करता है।
•
Limitations:
◦
ये प्रयोगात्मक परिणाम एक विशिष्ट स्वचालित प्रॉम्प्ट अनुकूलन तकनीक और एलएलएम डेटासेट तक सीमित हैं। विविध वातावरणों में सामान्यीकरण क्षमता निर्धारित करने के लिए और अधिक शोध की आवश्यकता है।
◦
स्वचालित प्रॉम्प्ट अनुकूलन तकनीक के प्रदर्शन को बेहतर बनाने के लिए अतिरिक्त शोध की आवश्यकता हो सकती है।
◦
विभिन्न प्रकार के संबंधों और जटिल वाक्य संरचनाओं पर प्रयोज्यता के लिए आगे सत्यापन की आवश्यकता है।
👍
Made with Slashpage