Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models

Created by
  • Haebom

저자

Xiaqiang Tang, Jian Li, Keyu Hu, Du Nan, Xiaolong Li, Xi Zhang, Weigao Sun, Sihong Xie

개요

대규모 언어 모델(LLM)이 제공된 맥락에 의해 뒷받침되지 않는 주장인 '충실도 환각(Faithfulness hallucinations)' 문제를 다룬다. 기존 벤치마크는 출처 자료를 바꿔 쓰는 "사실적 진술"에 초점을 맞추고 주어진 맥락으로부터 추론을 포함하는 "인지적 진술"은 간과하여 인지적 진술의 환각 평가 및 탐지가 어려웠다. 본 논문은 법적 영역에서 증거를 평가하는 방식에서 영감을 얻어 인지적 진술의 다양한 충실도 수준을 평가하는 엄격한 프레임워크를 설계하고, 통찰력 있는 통계를 보여주는 CogniBench 데이터셋을 소개한다. 급속히 발전하는 LLM에 발맞춰 다양한 모델에 쉽게 확장되는 자동 주석 파이프라인을 개발하여 사실적 및 인지적 환각 모두에 대한 정확한 검출기를 훈련하는 데 도움이 되는 대규모 CogniBench-L 데이터셋을 생성한다. 모델과 데이터셋은 https://github.com/FUTUREEEEEE/CogniBench 에서 공개한다.

시사점, 한계점

시사점:
법적 영역에서의 증거 평가 방식을 활용한 새로운 충실도 평가 프레임워크 제시
사실적 진술뿐 아니라 인지적 진술의 환각 평가 및 탐지에 대한 새로운 접근법 제시
대규모이며 자동 주석 파이프라인을 통해 확장 가능한 CogniBench-L 데이터셋 제공
사실적 및 인지적 환각 모두를 위한 정확한 검출기 훈련을 용이하게 함
한계점:
제시된 프레임워크와 데이터셋의 일반화 성능에 대한 추가적인 검증 필요
급속히 발전하는 LLM의 특성상, 데이터셋과 모델의 지속적인 업데이트 및 관리 필요
법적 영역에서의 증거 평가 방식을 차용한 프레임워크의 한계점에 대한 고찰 필요 (모든 유형의 환각에 적용 가능한지에 대한 검토 필요)
👍
You do not have permission to write comments