दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

सीपी-बेंच: बाधा मॉडलिंग के लिए बड़े भाषा मॉडल का मूल्यांकन

Created by
  • Haebom

लेखक

कोस्टिस माइकलिडिस, डिमोस त्सुरोस, टियास गन्स

रूपरेखा

यह शोधपत्र, कंस्ट्रेंट प्रोग्रामिंग (CP) मॉडलिंग को लोकप्रिय बनाने में आने वाली कठिनाइयों पर प्रकाश डालता है, क्योंकि इसमें विशेषज्ञता की अत्यधिक आवश्यकता होती है। इस समस्या के समाधान के लिए, हम बड़े पैमाने के भाषा मॉडल (LLM) का उपयोग करके CP मॉडलिंग को स्वचालित करने पर एक अध्ययन प्रस्तुत करते हैं। मौजूदा शोध में निहित सीमित मूल्यांकन डेटासेट को संबोधित करने के लिए, हम CP-Bench प्रस्तुत करते हैं, जो एक नया बेंचमार्क है जो विभिन्न संयोजन अनुकूलन समस्याओं को समाहित करता है। CP-Bench का उपयोग करते हुए, हम विभिन्न अमूर्त स्तरों और वाक्यविन्यासों वाली तीन CP मॉडलिंग प्रणालियों के लिए LLM के मॉडलिंग प्रदर्शन की तुलना और मूल्यांकन करते हैं। हम प्रॉम्प्ट-आधारित और अनुमान-समय गणना विधियों का व्यवस्थित रूप से मूल्यांकन करते हैं, जिससे 70% तक सटीकता प्राप्त होती है। विशेष रूप से, हम प्रदर्शित करते हैं कि उच्च-स्तरीय पायथन-आधारित फ्रेमवर्क का उपयोग करने से बेहतर प्रदर्शन प्राप्त होता है।

Takeaways, Limitations

Takeaways:
हम सीपी-बेंच प्रस्तुत करते हैं, जो एलएलएम का उपयोग करके सीपी मॉडलिंग स्वचालन की क्षमता को प्रदर्शित करने वाला एक नया बेंचमार्क है।
उच्च स्तरीय ढांचे की प्रभावशीलता की पुष्टि विभिन्न सीपी मॉडलिंग प्रणालियों के विरुद्ध एलएलएम के तुलनात्मक प्रदर्शन मूल्यांकन के माध्यम से की जाती है।
शीघ्र इंजीनियरिंग और अनुमान समय की गणना के लिए बेहतर तरीकों के माध्यम से बेहतर मॉडलिंग सटीकता (70% तक) की संभावना का सुझाव देता है।
Limitations:
सीपी-बेंच का समस्या दायरा सभी वास्तविक दुनिया की सीपी समस्याओं को पूरी तरह से कवर नहीं कर सकता है।
मूल्यांकित एलएलएम और सीपी मॉडलिंग प्रणालियाँ सीमित हो सकती हैं। विभिन्न एलएलएम और प्रणालियों पर और अधिक शोध की आवश्यकता है।
70% की सटीकता अभी भी सुधार की काफी गुंजाइश दर्शाती है। अधिक परिष्कृत एलएलएम और त्वरित इंजीनियरिंग तकनीकों की आवश्यकता है।
👍