AnnoCaseLaw: A Richly-Annotated Dataset For Benchmarking Explainable Legal Judgment Prediction
Created by
- Haebom
Category
Empty
저자
Magnus Sesodia, Alina Petrova, John Armour, Thomas Lukasiewicz, Oana-Maria Camburu, Puneet K. Dokania, Philip Torr, Christian Schroeder de Witt
개요
본 논문은 전 세계 법 시스템이 압도적인 사건 처리량, 제한된 사법 자원, 그리고 법적 절차의 복잡성 증가에 어려움을 겪고 있음을 지적하며, 인공지능(AI) 기반 법적 판결 예측(LJP)을 해결책으로 제시합니다. 기존 LJP 데이터셋의 비현실적인 문제 설정과 고품질 주석 부족을 지적하고, 미국 항소법원의 과실 사건 471건으로 구성된 AnnoCaseLaw 데이터셋을 소개합니다. AnnoCaseLaw는 전문가에 의해 꼼꼼하게 주석이 달린 데이터셋으로, 사법적 의사결정의 주요 구성 요소와 관련 법적 개념을 강조합니다. 이를 통해 보다 인간 중심적이고 설명 가능한 LJP 모델 개발의 기반을 마련하고, 판결 예측, 개념 식별, 자동 사건 주석 세 가지 법적 과제를 정의하며, 최첨단 대규모 언어 모델(LLM)을 사용하여 성능 기준선을 설정합니다. 실험 결과, LJP는 여전히 어려운 과제이며, 특히 법적 선례 적용이 어렵다는 것을 보여줍니다. 데이터와 코드는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
기존 LJP 데이터셋의 한계를 극복하는 고품질 주석이 포함된 AnnoCaseLaw 데이터셋 제공
◦
법적 판결 예측, 개념 식별, 자동 사건 주석 등 세 가지 법적 과제 정의 및 성능 기준선 제시
◦
설명 가능하고 인간 중심적인 LJP 모델 개발 위한 기반 마련
◦
법적 선례 적용의 어려움을 명확히 제시하여 향후 연구 방향 제시
•
한계점:
◦
AnnoCaseLaw 데이터셋이 미국 항소법원의 과실 사건에만 국한됨 (일반화 가능성 제한)
◦
LLM을 이용한 성능 평가는 아직 초기 단계이며, 더욱 정교한 평가 방법 필요
◦
법적 선례 적용의 어려움에 대한 구체적인 해결 방안 제시 부족
