[공지사항]을 빙자한 안부와 근황 
Show more

दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

कठोर एजेंटिक बेंचमार्क बनाने के लिए सर्वोत्तम प्रथाओं की स्थापना

Created by
  • Haebom

लेखक

युक्सुआन झू, तेंगजुन जिन, यादा प्रुक्साचाटकुन, एंडी झांग, शू लियू, साशा कुई, सयाश कपूर, शायने लोंगप्रे, केविन मेंग, रेबेका वीस, फजल बारेज़, राहुल गुप्ता, ज्वाला धमाला, जैकब मेरिज़ियन, मारियो गिउलियानेली, हैरी कोपॉक, कोज़मिन उडुडेक, जसजीत सेखों, जैकब स्टीनहार्ट, एंटनी केलरमैन, सारा श्वेटमैन, मातेई ज़हरिया, आयन स्टोइका, पर्सी लियांग, डैनियल कांग

रूपरेखा

यह शोधपत्र एआई एजेंटों के प्रदर्शन के मूल्यांकन हेतु मौजूदा एजेंट बेंचमार्क की समस्याओं की ओर इशारा करता है और उनके समाधान हेतु एक नई दिशानिर्देश, एजेंटिक बेंचमार्क चेकलिस्ट (एबीसी) प्रस्तावित करता है। यह दर्शाता है कि मौजूदा बेंचमार्क, कार्य निर्धारण या पुरस्कार डिज़ाइन में समस्याओं के कारण एजेंट के प्रदर्शन को कम या ज़्यादा आंक सकते हैं। उदाहरण के लिए, SWE-बेंच सत्यापित में परीक्षण मामलों का अभाव है, और TAU-बेंच खाली प्रतिक्रियाओं को सफल मानता है। एबीसी बेंचमार्क निर्माण अनुभवों, सर्वोत्तम अभ्यास जाँचों और पूर्व में रिपोर्ट की गई समस्याओं के संश्लेषण द्वारा बनाया गया है, और इसे CVE-बेंच पर लागू किया जाता है, जिसका मूल्यांकन डिज़ाइन जटिल है, और यह प्रदर्शन के अति-आकलन को 33% तक कम करने का प्रभाव दिखाता है।

Takeaways, Limitations

Takeaways: AI एजेंट बेंचमार्क की विश्वसनीयता में सुधार के लिए व्यवस्थित दिशानिर्देश (ABC) प्रदान करता है, जिससे AI एजेंट प्रदर्शन मूल्यांकन की सटीकता में सुधार हो सकता है। यह मौजूदा बेंचमार्क की डिज़ाइन और मूल्यांकन समस्याओं की पहचान करने और उन्हें बेहतर बनाने में मदद कर सकता है।
Limitations: यह निर्धारित करने के लिए अतिरिक्त सत्यापन की आवश्यकता है कि क्या ABC सभी प्रकार के एजेंट बेंचमार्क पर लागू होता है। ABC के अनुप्रयोग से बेंचमार्क विकास की जटिलता बढ़ सकती है। ABC के सभी आइटम सभी बेंचमार्क के लिए समान महत्व नहीं रख सकते हैं।
👍