वास्तविक-विश्व विधिक अभ्यास की गतिशील प्रकृति और स्थिर मानदंडों के बीच की खाई को पाटने के लिए, यह शोधपत्र J1-ENVS प्रस्तुत करता है, जो LLM-आधारित एजेंटों के लिए पहला इंटरैक्टिव गतिशील विधिक वातावरण है। इसमें कानूनी विशेषज्ञों द्वारा निर्देशित, पर्यावरणीय जटिलता के तीन स्तरों पर चीनी विधिक अभ्यास के छह प्रतिनिधि परिदृश्य शामिल हैं। हम J1-EVAL भी प्रस्तुत करते हैं, जो एक सुक्ष्म मूल्यांकन ढाँचा है जिसे विधिक दक्षता के विभिन्न स्तरों पर कार्य निष्पादन और प्रक्रियात्मक अनुपालन का आकलन करने के लिए डिज़ाइन किया गया है। 17 LLM एजेंटों पर किए गए व्यापक प्रयोगों से पता चलता है कि कई मॉडल मज़बूत विधिक ज्ञान प्रदर्शित करते हैं, लेकिन गतिशील वातावरण में प्रक्रियात्मक निष्पादन में कठिनाई का अनुभव करते हैं। यहाँ तक कि अत्याधुनिक मॉडल, GPT-4o, भी समग्र प्रदर्शन में 60% से कम है। ये परिणाम गतिशील विधिक बुद्धिमत्ता प्राप्त करने में आने वाली चुनौतियों को उजागर करते हैं और भविष्य के शोध के लिए मूल्यवान अंतर्दृष्टि प्रदान करते हैं।
