Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models

Created by
  • Haebom

저자

Xiaqiang Tang, Jian Li, Keyu Hu, Du Nan, Xiaolong Li, Xi Zhang, Weigao Sun, Sihong Xie

개요

대규모 언어 모델(LLM)이 제공된 맥락을 뒷받침하지 않는 주장인 신뢰성 환각(Faithfulness hallucinations)을 다룬다. 기존 벤치마크는 출처 자료를 바꿔 말하는 "사실적 진술"에 초점을 맞추고 주어진 맥락으로부터 추론을 포함하는 "인지적 진술"을 간과하여 인지적 진술의 환각을 평가하고 탐지하는 것이 어렵다는 점을 지적한다. 법적 영역에서 증거를 평가하는 방식에서 영감을 얻어 인지적 진술의 신뢰성 수준을 평가하는 엄격한 프레임워크를 설계하고, 통찰력 있는 통계를 보여주는 CogniBench 데이터셋을 소개한다. 빠르게 발전하는 LLM에 발맞추어 다양한 모델에 쉽게 확장할 수 있는 자동 주석 파이프라인을 개발하여, 사실적 및 인지적 환각 모두에 대한 정확한 검출기를 훈련하는 데 도움이 되는 대규모 CogniBench-L 데이터셋을 생성한다. 모델과 데이터셋은 https://github.com/FUTUREEEEEE/CogniBench 에서 공개한다.

시사점, 한계점

시사점: 법적 영역의 증거 평가 방식을 활용하여 LLM의 인지적 진술 신뢰성 평가 프레임워크를 제시하고, 대규모 데이터셋(CogniBench, CogniBench-L)을 구축하여 사실적 및 인지적 환각 검출기 훈련을 지원한다. 자동 주석 파이프라인을 통해 지속적인 데이터 확보 및 모델 개선이 가능하다.
한계점: 제시된 프레임워크와 데이터셋의 일반화 가능성 및 다양한 LLM에 대한 적용 가능성에 대한 추가적인 검증이 필요하다. 인지적 진술의 신뢰성 평가 기준의 객관성 및 주관성 문제에 대한 논의가 부족할 수 있다. 자동 주석 파이프라인의 정확도와 한계에 대한 자세한 분석이 필요하다.
👍