Sign In

Hybrid Retrieval-Augmented Generation Agent for Trustworthy Legal Question Answering in Judicial Forensics

Created by
  • Haebom
Category
Empty

저자

Yueqing Xi, Yifan Bai, Huasen Luo, Weiliang Wen, Hui Liu, Haoliang Li

개요

인공지능이 사법 분야에 널리 사용되면서, 법률 질의 응답(QA)의 진실성과 추적 가능성을 확보하는 것이 중요해졌습니다. 본 논문에서는 신뢰할 수 있고, 감사 가능하며, 지속적으로 업데이트 가능한 조언을 제공하기 위해 검색 증강 생성(RAG)과 다중 모델 앙상블을 통합한 사법 환경에 특화된 하이브리드 법률 QA 에이전트를 제시합니다. 이 시스템은 검색을 우선시하며, 신뢰할 수 있는 법률 저장소에서 관련 증거가 검색되면 RAG를 통해 답변을 생성하고, 그렇지 않은 경우 여러 LLM이 후보를 생성하고 전문 선택기가 최고 순위의 답변을 반환합니다. 고품질 출력은 인간 검토를 거쳐 저장소에 다시 기록되어 동적 지식 진화 및 출처 추적이 가능합니다. LawQA 데이터 세트에 대한 실험 결과, 하이브리드 방식이 단일 모델 기반 및 바닐라 RAG 파이프라인보다 F1, ROUGE-L 및 LLM-as-a-Judge 지표에서 유의미하게 우수함을 보였습니다.

시사점, 한계점

시사점:
RAG와 다중 모델 앙상블을 결합하여 법률 QA의 신뢰성 및 감사 가능성 향상
검색 우선 접근 방식을 통해 환각 현상 감소 및 답변 품질 향상
인간-루프 업데이트 메커니즘을 통해 지식 기반의 동적 진화 및 법적 준수 강화
LawQA 데이터셋에서 우수한 성능 입증
한계점:
구체적인 성능 향상 수치나 데이터셋에 대한 추가 정보 부족
다중 모델 앙상블 및 인간 검토의 실제 운영 비용 및 시간 소요에 대한 논의 부족
특정 법률 분야 또는 관할 구역에 대한 일반화 가능성 추가 연구 필요
👍