본 논문은 실제 법률 실무의 역동적인 특성과 정적인 벤치마크 간의 격차를 해소하기 위해, LLM 기반 에이전트를 위한 최초의 대화형 동적 법률 환경인 J1-ENVS를 소개합니다. 법률 전문가의 지도 아래, 세 가지 수준의 환경 복잡성에 걸쳐 중국 법률 실무에서 나온 여섯 가지 대표적인 시나리오로 구성됩니다. 또한, 다양한 수준의 법률 숙련도에 걸쳐 과제 수행 능력과 절차 준수 사항을 평가하도록 설계된 세분화된 평가 프레임워크인 J1-EVAL을 제시합니다. 17개의 LLM 에이전트에 대한 광범위한 실험 결과, 많은 모델이 견고한 법률 지식을 보여주지만 동적 환경에서 절차적 실행에 어려움을 겪는다는 것을 보여줍니다. 최첨단 모델인 GPT-4o조차도 전반적인 성능이 60%에 미치지 못합니다. 이러한 결과는 동적 법률 지능 달성에 있어 지속적인 과제를 강조하고 미래 연구를 위한 귀중한 통찰력을 제공합니다.
