दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

आत्म-प्रश्न भाषा मॉडल

Created by
  • Haebom

लेखक

लिली चेन, मिहिर प्रभुदेसाई, कतेरीना फ्रैगकियाडाकी, हाओ लियू, दीपक पाठक

रूपरेखा

यह शोधपत्र अध्ययन करता है कि क्या पूर्व-प्रशिक्षित भाषा मॉडल, बिना किसी बाह्य डेटा के, स्वतंत्र रूप से प्रश्न और उत्तर उत्पन्न करके अपनी तर्क क्षमताएँ बढ़ा सकते हैं। इस लक्ष्य को प्राप्त करने के लिए, हम स्व-प्रश्न भाषा मॉडल (SQLM), एक असममित स्व-शिक्षण ढाँचा प्रस्तावित करते हैं। प्रस्तावक को एक विषय मिलता है और वह प्रश्न उत्पन्न करता है, जबकि हलकर्ता प्रश्नों के उत्तर देता है। प्रस्तावक और हलकर्ता दोनों को सुदृढीकरण अधिगम के माध्यम से प्रशिक्षित किया जाता है। प्रस्तावक को उचित कठिनाई स्तर की समस्या उत्पन्न करने के लिए एक पुरस्कार मिलता है, और हलकर्ता को बहुमत मतदान के माध्यम से उत्तर की शुद्धता निर्धारित करने के लिए एक पुरस्कार मिलता है। कोडिंग समस्याओं के लिए, प्रस्तावक इकाई परीक्षण उत्पन्न करता है, जिनका उपयोग सत्यापन के लिए किया जाता है। प्रयोग तीन बेंचमार्क पर किए जाते हैं: तीन-अंकीय गुणन, OMEGA बेंचमार्क से बीजगणित की समस्याएँ, और Codeforces से प्रोग्रामिंग की समस्याएँ। हम प्रदर्शित करते हैं कि भाषा मॉडल बाह्य डेटा के बिना भी प्रदर्शन में सुधार कर सकता है।

Takeaways, Limitations

Takeaways:
बाह्य डेटा के बिना भाषा मॉडल की अनुमान क्षमता में सुधार की संभावना का सुझाव देना।
एक नवीन स्व-शिक्षण-आधारित भाषा मॉडल प्रशिक्षण ढाँचे का प्रस्ताव
विभिन्न प्रकार की समस्याओं (गणित, प्रोग्रामिंग) के लिए प्रयोज्यता
डेटा-विहीन वातावरण में भाषा मॉडल सीखने के लिए एक दिशा का सुझाव देना
Limitations:
सही उत्तर निर्धारित करने के लिए बहुमत मतदान को मानक के रूप में उपयोग करने की सटीकता के बारे में प्रश्न हैं।
जटिल और विविध प्रकार की समस्याओं के लिए सामान्यीकरण प्रदर्शन को सत्यापित करने की आवश्यकता
स्व-जनित समस्याओं की गुणवत्ता और विविधता का आगे विश्लेषण आवश्यक है।
बड़े पैमाने के डेटासेट का उपयोग करके प्रयोगात्मक परिणामों के साथ तुलनात्मक विश्लेषण की आवश्यकता है।
👍