대규모 언어 모델(LLM)은 종종 허구적인 내용을 생성하여 사실성이 중요한 애플리케이션에 상당한 문제를 야기합니다. 기존의 허구 검출 방법은 일반적으로 문장 수준이나 구절 수준에서 작동하지만, 본 논문에서는 세분화된 사실 수준의 검출을 가능하게 하는 새로운 블랙박스 샘플링 기반 방법인 FactSelfCheck를 제안합니다. 본 연구의 접근 방식은 트리플 형태의 사실로 구성된 지식 그래프로 텍스트를 나타냅니다. 여러 LLM 응답에 걸쳐 사실 일관성을 분석함으로써 외부 리소스나 훈련 데이터 없이 세분화된 허구 점수를 계산합니다. 평가 결과 FactSelfCheck는 주요 샘플링 기반 방법과 경쟁력 있게 수행되는 동시에 더 자세한 통찰력을 제공합니다. 특히, 사실 수준의 접근 방식은 허구 내용 수정을 크게 개선하여 기준선에 비해 사실적 콘텐츠를 35% 증가시키는 반면, 문장 수준의 SelfCheckGPT는 8%만 개선합니다. 세분화된 검출 방식은 허구 내용의 더 정확한 식별 및 수정을 가능하게 합니다.
