यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
यह शोधपत्र कोड सुदृढीकरण अधिगम में बड़े पैमाने के भाषा मॉडल (LLM) के प्रभावी प्रशिक्षण के लिए सटीक प्रतिक्रिया के महत्व पर प्रकाश डालता है और उच्च-गुणवत्ता वाले परीक्षण मामलों को उत्पन्न करने की चुनौतियों का समाधान करने के लिए क्लियर-कोडटेस्ट ढाँचा प्रस्तुत करता है। क्लियर-कोडटेस्ट एक जनरेटर-सत्यापनकर्ता (GV) ढाँचे के माध्यम से नियमित और अपवाद दोनों मामलों सहित व्यापक परीक्षण मामले उत्पन्न करता है और स्वर्ण मानक समाधानों के साथ संगतता सत्यापन के माध्यम से शुद्धता सुनिश्चित करता है। इसके अलावा, हम सुरक्षित और विश्वसनीय कोड निष्पादन के लिए एक बहु-स्तरीय सुरक्षा सैंडबॉक्स प्रणाली डिज़ाइन करते हैं, और प्रयोगों से पता चलता है कि उत्पन्न डेटासेट बेहतर मॉडल प्रदर्शन और प्रशिक्षण स्थिरता में योगदान देता है। स्रोत कोड, डेटासेट और सैंडबॉक्स प्रणाली GitHub पर सार्वजनिक रूप से उपलब्ध हैं।
____T9072_____, ____T9073_____
•
Takeaways:
◦
उच्च गुणवत्ता वाले परीक्षण मामलों को स्वचालित रूप से उत्पन्न करने के लिए एक प्रभावी ढांचा (क्लीयर-कोडटेस्ट) प्रस्तुत किया गया है।
◦
उत्पन्न परीक्षण मामलों की सटीकता और विश्वसनीयता सुनिश्चित करने के लिए एक कठोर सत्यापन तंत्र का परिचय देना।
◦
कोड सुदृढीकरण सीखने में मॉडल प्रदर्शन और प्रशिक्षण स्थिरता में सुधार करने में योगदान देता है।
◦
बहुस्तरीय सुरक्षा सैंडबॉक्स प्रणाली के माध्यम से सुरक्षित कोड निष्पादन वातावरण प्रदान करना।
◦
उत्पन्न डेटासेट और स्रोत कोड के प्रकटीकरण के माध्यम से अनुसंधान की पुनरुत्पादन क्षमता और मापनीयता में वृद्धि।
•
Limitations:
◦
ऐसी संभावना है कि प्रस्तुत फ्रेमवर्क का प्रदर्शन कुछ प्रकार की प्रोग्रामिंग समस्याओं या एक निश्चित पैमाने के LLM के प्रति पक्षपाती हो सकता है।
◦
स्वर्ण समाधान की शुद्धता पर निर्भरता - यदि स्वर्ण समाधान में स्वयं त्रुटियाँ हैं, तो इससे उत्पन्न परीक्षण मामलों की शुद्धता प्रभावित हो सकती है।
◦
जटिल कार्यक्रमों के लिए परीक्षण मामले निर्माण की दक्षता और मापनीयता पर आगे सत्यापन की आवश्यकता है।
