Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Place Matters: Comparing LLM Hallucination Rates for Place-Based Legal Queries

Created by
  • Haebom
Category
Empty

저자

Damian Curran, Vanessa Sporne, Lea Frermann, Jeannie Paterson

개요

본 논문은 대규모 언어 모델(LLM) 기반 챗봇이 제공하는 법률 정보의 품질이 사용자의 위치에 따라 어떻게 달라지는지를 비교하는 방법을 제시한다. 특히, 기능주의적 비교법을 기반으로, 법률 자문 게시글에서 추출한 시나리오를 통해 로스앤젤레스, 런던, 시드니의 법률 정보를 LLM이 요약하도록 하고, 생성된 요약문의 환각(hallucination) 발생률을 평가하여 지역별 정보 품질의 차이를 분석한다. 연구 결과, 주요 LLM의 법률 정보 환각률이 지역에 따라 유의미하게 차이를 보이며, 환각률과 LLM의 다중 샘플링에서 다수 응답 빈도 간의 강한 음의 상관관계를 확인하여 법률 정보 예측의 불확실성을 측정할 수 있음을 보여준다.

시사점, 한계점

시사점:
LLM 기반 법률 정보의 품질이 지역에 따라 다를 수 있음을 실증적으로 보여줌.
법률 정보의 환각 발생률이 LLM의 지역별 성능 차이를 나타내는 지표가 될 수 있음을 시사.
LLM 응답의 다중 샘플링을 통해 법률 정보 예측의 불확실성을 측정할 수 있는 가능성을 제시.
한계점:
특정 지역(로스앤젤레스, 런던, 시드니)에 한정된 분석으로, 일반화에 한계.
환각 발생률 평가의 주관성 개입 가능성.
제시된 방법론이 다른 LLM 및 법률 분야에 일반화될 수 있는지 추가 연구 필요.
👍