본 논문은 대규모 언어 모델(LLM)이 생성하는, 제공된 맥락에 의해 뒷받침되지 않는 주장인 '충실도 환각(Faithfulness hallucination)' 문제를 다룹니다. 기존 벤치마크는 단순히 원본 자료를 바꿔 말하는 '사실적 진술'만 포함하고, 주어진 맥락으로부터 추론하는 '인지적 진술'을 구분하지 않아 인지적 진술의 일관성 평가 및 최적화가 어렵다는 점을 지적합니다. 논문에서는 입법 영역에서 증거를 평가하는 방식에서 영감을 얻어, 인지적 진술의 다양한 수준의 충실도를 평가하는 엄격한 프레임워크를 설계하고, 통찰력 있는 통계를 보여주는 벤치마크 데이터셋을 만듭니다. 또한, 다양한 LLM에 대해 자동으로 더 큰 벤치마크를 생성하는 주석 파이프라인을 설계하고, 그 결과로 생성된 대규모 CogniBench-L 데이터셋을 정확한 인지적 환각 탐지 모델을 훈련하는 데 사용할 수 있도록 공개합니다.
