दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

क्या बड़े भाषा मॉडल पेटेंट नियमों को समझने के साथ-साथ उन्हें लागू करके व्यावहारिक पेटेंट अटॉर्नी परीक्षा पास कर सकते हैं?

Created by
  • Haebom

लेखक

भक्ति खेड़ा, रेज़वान अलामियान, पास्कल ए. शेर्ज़, स्टीफ़न एम. गोएट्ज़

रूपरेखा

इस शोधपत्र ने यूरोपीय पेटेंट अटॉर्नी परीक्षा (EQE) के चयनित कार्यों पर लागू विभिन्न ओपन-सोर्स और स्वामित्व वाले बड़े पैमाने के भाषा मॉडल (LLM) के प्रदर्शन का मात्रात्मक मूल्यांकन किया। GPT परिवार, एंथ्रोपिक, डीपसीक और लामा-3 सहित मूल्यांकित मॉडलों में, OpenAI के GPT-4 ने उच्चतम सटीकता (0.82) और F1 स्कोर (0.81) प्राप्त किया, लेकिन विशेषज्ञ-स्तर के प्रदर्शन (0.90) से पीछे रह गया। AWS लामा 3.1 8B और पायथन-आधारित लामा 3.1 8B ने सरल अनुमान लगाने के स्तर पर प्रदर्शन किया। मॉडलों ने पाठ और ग्राफ़िक एकीकरण और स्वरूपण में सीमाएँ भी प्रदर्शित कीं, और विशेषज्ञ मूल्यांकनों ने तार्किक संगति, स्पष्टता और कानूनी आधार के साथ समस्याओं का खुलासा किया। मॉडल आउटपुट तापमान परिवर्तनों और त्वरित अभिव्यक्तियों के प्रति संवेदनशील थे, जो विशेषज्ञ पर्यवेक्षण की आवश्यकता का सुझाव देते हैं।

Takeaways, Limitations

•
Takeaways: हाल के एलएलएम के उत्कृष्ट प्रदर्शन के बावजूद, यह अध्ययन बताता है कि आम जनता की अपेक्षाएँ अत्यधिक ऊँची हो सकती हैं। कानूनी क्षेत्र में एलएलएम की प्रयोज्यता का मात्रात्मक मूल्यांकन करके, हम यथार्थवादी सीमाएँ प्रस्तुत करते हैं। हम टेक्स्ट और ग्राफ़िक्स को एकीकृत करने की GPT-4 की उत्कृष्ट क्षमता को प्रदर्शित करते हैं। हम स्वचालित मूल्यांकन मीट्रिक्स और विशेषज्ञ निर्णय के बीच विसंगति को भी प्रदर्शित करते हैं।
•
Limitations: मूल्यांकन के लिए प्रयुक्त परीक्षणों के केवल एक उपसमूह के उपयोग के कारण सामान्यीकरण सीमित है। सभी LLM विशेषज्ञ-स्तर के प्रदर्शन तक नहीं पहुँच पाए हैं। मॉडल आउटपुट संकेतों और तापमान सेटिंग्स के प्रति संवेदनशील है, जिससे यह अविश्वसनीय हो जाता है। तार्किक संगति, सुदृढ़ बहुविधता और अनुकूली संकेत सहित सुधारों की आवश्यकता है। वर्तमान तकनीक को एक पूर्णतः कार्यात्मक आभासी पेटेंट वकील विकसित करने के लिए महत्वपूर्ण तकनीकी प्रगति की आवश्यकता है।
👍
Made with Slashpage