यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है। यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है। पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।
CO-बेंच: कॉम्बिनेटोरियल ऑप्टिमाइज़ेशन के लिए एल्गोरिथम खोज में भाषा मॉडल एजेंटों की बेंचमार्किंग
Created by
Haebom
लेखक
वेईवेई सन, शेंगयु फेंग, शांदा ली, यिमिंग यांग
रूपरेखा
यह शोधपत्र बड़े पैमाने के भाषा मॉडल (एलएलएम) पर आधारित एजेंटों की संयोजन अनुकूलन (सीओ) समस्याओं में योगदान देने की क्षमता का अन्वेषण करता है। एलएलएम एजेंटों के संयोजन अनुकूलन (सीओ) में अनुप्रयोग के व्यवस्थित अध्ययन हेतु एक व्यापक बेंचमार्क के वर्तमान अभाव को दूर करते हुए, हम सीओ-बेंच प्रस्तुत करते हैं, जो एक नया बेंचमार्क है जिसमें विविध डोमेन और जटिलता स्तरों पर 36 वास्तविक-विश्व सीओ समस्याएँ शामिल हैं। सीओ-बेंच, एलएलएम एजेंटों पर गहन शोध का समर्थन करने के लिए संरचित समस्या सूत्रीकरण और परिष्कृत डेटा प्रदान करता है। यह एलएलएम एजेंटों की शक्तियों और सीमाओं को प्रकट करने और भविष्य के शोध दिशाओं का सुझाव देने के लिए मौजूदा एल्गोरिदम के विरुद्ध कई एजेंट फ्रेमवर्क की तुलना और मूल्यांकन भी करता है। सीओ-बेंच सार्वजनिक रूप से उपलब्ध है ( https://github.com/sunnweiwei/CO-Bench )।
हम CO-बेंच प्रदान करते हैं, जो संयोजन अनुकूलन समस्याओं को हल करने के लिए LLM-आधारित एजेंटों की क्षमता का मूल्यांकन करने के लिए एक व्यापक बेंचमार्क है।
◦
यह विभिन्न डोमेन और जटिलता के स्तरों पर वास्तविक दुनिया की सीओ समस्याओं सहित एलएलएम एजेंटों के प्रदर्शन का वस्तुनिष्ठ मूल्यांकन करने की अनुमति देता है।
◦
मौजूदा एल्गोरिदम के साथ तुलनात्मक मूल्यांकन के माध्यम से, हम एलएलएम एजेंट की शक्तियों और सीमाओं को स्पष्ट रूप से पहचानते हैं और भविष्य के अनुसंधान दिशाओं का सुझाव देते हैं।
◦
सार्वजनिक मानक एलएलएम एजेंट-आधारित सीओ अनुसंधान की उन्नति में योगदान दे सकते हैं।
•
Limitations:
◦
वर्तमान में बेंचमार्क में शामिल समस्याओं की संख्या (36) को भविष्य में विस्तारित करने की आवश्यकता है।
◦
विभिन्न प्रकार के एलएलएम एजेंट फ्रेमवर्क का व्यापक मूल्यांकन अभी भी अधूरा रह गया है।
◦
वास्तविक दुनिया की समस्याओं की जटिलता और एलएलएम एजेंटों के प्रदर्शन के बीच संबंधों का अधिक गहन विश्लेषण आवश्यक है।
