대규모 언어 모델(LLM)은 자주 허구의 내용을 생성하며, 사실성이 중요한 애플리케이션에 상당한 어려움을 야기합니다. 기존의 환각 감지 방법은 일반적으로 문장 수준이나 단락 수준에서 작동하지만, 본 논문에서는 새로운 블랙박스 샘플링 기반 방법인 FactSelfCheck을 제안합니다. 이 방법은 사실을 3단계 형태로 나타내는 지식 그래프로 텍스트를 표현합니다. 여러 LLM 응답 간의 사실적 일관성을 분석하여 외부 리소스나 훈련 데이터 없이 세분화된 환각 점수를 계산합니다. 평가 결과 FactSelfCheck는 주요 문장 수준 샘플링 기반 방법과 경쟁력 있게 수행되는 동시에 더 자세한 통찰력을 제공합니다. 특히, 사실 수준 접근 방식은 환각 수정을 크게 개선하여 기준선에 비해 사실적 내용이 35.5% 증가하는 반면, 문장 수준 SelfCheckGPT는 10.6%만 향상됩니다. 이러한 세분화된 감지는 환각된 내용을 더 정확하게 식별하고 수정할 수 있게 합니다. 또한, 샘플링 기반 방법을 평가하기 위한 새로운 데이터 세트인 FavaMultiSamples를 제공합니다.
