BenGER: Benchmarking LLM Systems on Subsumption-Based Legal Reasoning in German Law
Author
- Haebom
Category
Empty
저자
Sebastian Nagl, Ann-Kristin Mayrhofer, Martin Heidebach, Aleyna Ko\c{c}ak, Anne Zettelmeier, Elly Breu, Angelina Greiner, Sofija Milijas, Matthias Grabmair
💡 개요
본 연구는 독일 법률의 하위 범주화 기반 법률 추론에 대한 LLM 시스템 평가를 위한 "BenGER (Benchmark for German Law)" 데이터셋을 소개합니다. 이 데이터셋은 다양한 교육 수준의 596개 시험 스타일 법률 사례 과제와 531개의 짧은 교리 추론 과제를 포함하며, 12개의 최신 LLM 시스템을 평가했습니다. 연구 결과, LLM 기반 평가자가 인간 평가자와 유사한 일관성을 보였으며, 최첨단 폐쇄형 LLM이 가장 우수한 성능을 보였고, 인간-AI 협업이 독립적인 인간 작업보다 월등히 뛰어남을 입증했습니다.
🔑 시사점 및 한계
•
BenGER 데이터셋은 독일 법률 분야에서 LLM 시스템의 하위 범주화 추론 능력을 평가하기 위한 중요한 벤치마크를 제공합니다.
•
LLM 기반 평가자(LLM-as-a-Judge)는 인간 평가자만큼의 일관성을 보일 수 있어, 대규모 평가 자동화 가능성을 제시합니다.
•
인간-AI 협업은 법률 추론 작업에서 독립적인 인간 작업보다 훨씬 더 나은 성능을 보여, 향후 법률 분야에서의 AI 활용 가능성을 시사합니다.
•
본 연구의 한계는 평가 대상 LLM이 주로 폐쇄형 모델에 집중되어 있어, 오픈 웨이트 모델의 잠재력을 충분히 탐구하지 못했다는 점이며, 향후 더 다양한 오픈 웨이트 모델에 대한 평가 및 독일 법률 외 다른 법률 체계로의 확장 연구가 필요합니다.
