LegalCore: A Dataset for Legal Documents Event Coreference Resolution
Created by
- Haebom
Category
Empty
저자
Kangda Wei, Xi Shi, Jonathan Tong, Sai Ramana Reddy, Anandhavelu Natarajan, Rajiv Jain, Aparna Garimella, Ruihong Huang
개요
본 논문은 법률 문서에 대한 최초의 이벤트 공참조 해결 데이터셋인 LegalCore를 제시합니다. 기존 연구는 주로 뉴스 기사에 국한되었으나, LegalCore는 평균 25,000 토큰의 긴 법률 계약서를 대상으로 이벤트 및 이벤트 공참조 정보를 포괄적으로 주석 처리했습니다. LegalCore는 이벤트 언급이 밀집되어 있으며, 단거리 및 초장거리 공참조 링크 모두를 포함하는 특징을 보입니다. 본 논문에서는 주요 대규모 언어 모델(LLM)들을 LegalCore를 사용하여 이벤트 탐지 및 이벤트 공참조 해결 과제에 대해 벤치마킹하고, 최첨단 오픈소스 및 독점 LLM들이 감독 기반 기준 모델보다 성능이 현저히 떨어짐을 보여줍니다. 데이터셋과 코드를 공개할 예정입니다.
시사점, 한계점
•
시사점: 법률 문서에 특화된 이벤트 공참조 해결 데이터셋 LegalCore를 최초로 제공하여, 법률 영역 자연어 처리 연구에 기여합니다. LLM의 법률 문서 이해 능력의 한계를 밝히고 향후 연구 방향을 제시합니다. 데이터셋과 코드 공개를 통해 연구 재현성 및 확장성을 높입니다.
•
한계점: 현재까지는 LegalCore 데이터셋의 규모가 제한적일 수 있습니다. 다양한 유형의 법률 문서를 포함하지 않을 가능성이 있습니다. LLM의 성능 저하 원인에 대한 심층적인 분석이 부족할 수 있습니다.
