Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models

Created by
  • Haebom

저자

Xiaqiang Tang, Jian Li, Keyu Hu, Du Nan, Xiaolong Li, Xi Zhang, Weigao Sun, Sihong Xie

개요

본 논문은 대규모 언어 모델(LLM)이 제공된 맥락을 뒷받침하지 않는 주장을 생성하는 '충실도 환각(faithfulness hallucination)' 문제를 다룬다. 기존 벤치마크는 단순히 원본 자료를 바꿔 말하는 '사실적 진술'만 포함하고, 주어진 맥락으로부터 추론하는 '인지적 진술'을 구분하지 않아 인지적 진술의 일관성 평가 및 최적화가 어렵다는 점을 지적한다. 입법 영역에서 증거를 평가하는 방식에서 영감을 얻어, 인지적 진술의 다양한 수준의 충실도를 평가하는 엄격한 프레임워크를 설계하고, 통찰력 있는 통계를 보여주는 벤치마크 데이터셋을 생성하였다. 다양한 LLM에 대해 자동으로 더 큰 벤치마크를 생성하는 주석 파이프라인을 설계하여, CogniBench-L이라는 대규모 데이터셋을 만들고, 이를 사용하여 정확한 인지적 환각 탐지 모델을 학습시켰다. 모델과 데이터셋은 깃허브(https://github.com/FUTUREEEEEE/CogniBench)에서 공개한다.

시사점, 한계점

시사점:
LLM의 인지적 진술의 충실도를 평가하는 엄격한 프레임워크 제시
인지적 환각 탐지 모델 학습에 사용 가능한 대규모 벤치마크 데이터셋(CogniBench-L) 구축 및 공개
입법 영역의 증거 평가 방식을 LLM 평가에 적용한 참신한 접근 방식 제시
한계점:
본 논문에서 제시된 프레임워크와 데이터셋의 일반화 가능성에 대한 추가적인 연구 필요
다양한 유형의 LLM과 다양한 작업에 대한 성능 평가가 추가적으로 필요
CogniBench-L 데이터셋의 규모 및 품질에 대한 더 자세한 분석 필요
👍