Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Assessing the Reliability of Large Language Models in the Bengali Legal Context: A Comparative Evaluation Using LLM-as-Judge and Legal Experts

Created by
  • Haebom
Category
Empty

저자

Sabik Aftahee, A. F. M. Farhad, Arpita Mallik, Ratnajit Dhar, Jawadul Karim, Nahiyan Bin Noor, Ishmam Ahmed Solaiman

개요

방글라데시에서 법률 지원 접근성이 낮아 AI 모델을 활용한 법률 자문 가능성을 탐구함. OpenAI GPT-4.1 Mini, Gemini 2.0 Flash, Meta Llama 3 70B, DeepSeek R1 등 4가지 AI 모델을 사용하여 Facebook 그룹에서 수집한 250개의 법률 질문에 대한 답변을 생성. 전문가 평가와 자동 평가 지표를 통해 답변의 정확성, 적절성, 완전성, 명확성을 평가함. 결과적으로 AI 모델이 양질의 답변을 생성하지만, 잘못된 정보, 부정확한 사례 인용, 위험한 조언을 제공할 수 있음을 확인.

시사점, 한계점

시사점:
AI 모델이 방글라데시 법률 분야에서 신속하고 저렴한 법률 자문 제공 가능성 제시.
AI 기반 법률 자문의 잠재력을 보여주지만, 안전한 사용을 위한 엄격한 검증 및 보호 장치 필요성을 강조.
한계점:
AI 모델이 잘못된 정보를 생성하여 위험한 결과를 초래할 수 있음.
AI 기반 법률 자문 사용 전에 전문가 검증 및 안전 장치가 필수적임.
결과 해석 및 AI 모델의 안전한 배포를 위한 추가 연구 필요.
👍