본 논문은 실제 법률 실무의 역동적인 특성과 정적인 벤치마크 간의 차이를 해소하기 위해, LLM 기반 에이전트를 위한 최초의 대화형 동적 법률 환경인 J1-ENVS를 제시합니다. 법률 전문가의 지도를 받아 중국 법률 실무의 세 가지 수준의 환경 복잡성에 걸쳐 여섯 가지 대표적인 시나리오로 구성됩니다. 또한, 다양한 수준의 법률 숙련도에 걸쳐 과제 수행과 절차 준수를 평가하도록 설계된 세분화된 평가 프레임워크인 J1-EVAL을 소개합니다. 17개의 LLM 에이전트에 대한 광범위한 실험 결과, 많은 모델이 견고한 법률 지식을 보여주지만 동적 환경에서 절차 실행에 어려움을 겪는다는 것을 보여줍니다. 최첨단 모델인 GPT-4o조차도 전반적인 성능이 60%에 미치지 못합니다. 이러한 결과는 동적 법률 지능 달성에 있어 지속적인 과제를 강조하고 미래 연구를 위한 귀중한 통찰력을 제공합니다.
시사점, 한계점
•
시사점: LLM 기반 에이전트의 동적 법률 환경에서의 성능 한계를 명확히 제시하고, 향후 연구 방향을 제시합니다. J1-ENVS와 J1-EVAL은 동적 법률 지능 연구를 위한 중요한 벤치마크 및 평가 도구를 제공합니다. 최첨단 모델조차도 동적 법률 문제 해결에 어려움을 겪는다는 사실을 밝힘으로써, 향후 연구의 필요성을 강조합니다.
•
한계점: 현재 중국 법률 시스템에 국한된 시나리오를 사용하였으므로, 다른 법률 시스템에 대한 일반화 가능성은 제한적입니다. 평가 프레임워크 J1-EVAL의 객관성 및 신뢰성에 대한 추가적인 검증이 필요합니다. 6가지 시나리오만을 사용한 점은 다양한 법률 영역을 포괄하지 못할 수 있다는 한계를 지닙니다.
