DECODEM: Data Extraction from Corporate Organizational Documents via Enhanced Methods
작성자
카테고리
Empty
저자
Jens Frankenreiter
💡 개요
본 논문은 기업 거버넌스 연구에서 필수적인 구조화되지 않은 법률 문서(정관, 내규 등)로부터 변수를 자동 추출하기 위한 벤치마크 데이터셋인 DECODEM을 소개합니다. DECODEM은 고품질 인간 주석과 무작위 샘플링된 기업 문서를 포함하며, 다양한 대규모 언어 모델(LLM) 기반 추출 파이프라인의 성능을 평가합니다. 평가 결과, 많은 거버넌스 조항에 대해 높은 정확도로 자동 추출이 가능함을 보여주었으며, 이는 향후 기업 거버넌스 데이터셋 구축에 자동화된 특징 추출의 중요한 역할을 시사합니다.
🔑 시사점 및 한계
•
법률 문서 자동화를 통한 연구 효율성 증대: DECODEM 벤치마크와 평가 결과는 LLM을 활용한 기업 거버넌스 변수 자동 추출이 가능하며, 기존의 수동 코딩 방식보다 효율적이고 확장 가능한 대안이 될 수 있음을 보여줍니다.
•
파이프라인 설계의 중요성: 복잡한 프롬프트 설계나 태스크 분해와 같은 파이프라인 전략이 모델의 근본적인 성능을 항상 향상시키지는 않지만, 최첨단 모델과 효율성 중심 모델 간의 격차를 줄이는 데 기여할 수 있음을 시사합니다.
•
변수별 성능 차이 및 오류 발생 지점: 자동 추출 성능이 변수마다 다르게 나타나며, 일부 소수의 조항에서 대부분의 오류가 집중된다는 점은 향후 개선의 여지가 있음을 보여줍니다. 또한, 모든 변수에 대해 일관적으로 높은 성능을 달성하는 것은 여전히 도전 과제입니다.
