CogniBench: A Legal-inspired Framework and Dataset for Assessing Cognitive Faithfulness of Large Language Models
Created by
Haebom
저자
Xiaqiang Tang, Jian Li, Keyu Hu, Du Nan, Xiaolong Li, Xi Zhang, Weigao Sun, Sihong Xie
개요
본 논문은 대규모 언어 모델(LLM)이 제공된 맥락을 뒷받침하지 않는 주장을 생성하는 '충실도 환각(faithfulness hallucination)' 문제를 다룬다. 기존 벤치마크는 단순히 원본 자료를 바꿔 말하는 '사실적 진술'만 포함하고, 주어진 맥락으로부터 추론하는 '인지적 진술'을 구분하지 않아 인지적 진술의 일관성 평가 및 최적화가 어렵다는 점을 지적한다. 입법 영역에서 증거를 평가하는 방식에서 영감을 얻어, 인지적 진술의 다양한 수준의 충실도를 평가하는 엄격한 프레임워크를 설계하고, 통찰력 있는 통계를 보여주는 벤치마크 데이터셋을 생성하였다. 다양한 LLM에 대해 자동으로 더 큰 벤치마크를 생성하는 주석 파이프라인을 설계하여, CogniBench-L이라는 대규모 데이터셋을 만들고, 이를 사용하여 정확한 인지적 환각 탐지 모델을 학습시켰다. 모델과 데이터셋은 깃허브(https://github.com/FUTUREEEEEE/CogniBench)에서 공개한다.
시사점, 한계점
•
시사점:
◦
LLM의 인지적 진술의 충실도를 평가하는 엄격한 프레임워크 제시
◦
인지적 환각 탐지 모델 학습에 사용 가능한 대규모 벤치마크 데이터셋(CogniBench-L) 구축 및 공개