본 논문은 기업 환경에서 대규모 언어 모델(LLM) 출력의 환각(hallucination)을 감지하기 위한 포괄적인 시스템을 제시한다. 기업 애플리케이션에서 환각을 특정하여 맥락 기반, 상식, 기업 특정, 무해한 진술 등으로 분류하는 새로운 분류 체계를 제시한다. 제안된 환각 감지 모델 HDM-2는 맥락과 일반적으로 알려진 사실(상식) 모두를 고려하여 LLM 응답을 검증하고, 환각 점수와 단어 수준 주석을 제공하여 문제가 되는 콘텐츠를 정확하게 식별한다. 맥락 기반 및 상식 환각에 대한 평가를 위해 새로운 데이터셋 HDMBench를 소개하며, 실험 결과 HDM-2가 RagTruth, TruthfulQA 및 HDMBench 데이터셋에서 기존 방법보다 성능이 우수함을 보여준다. 계산 효율성, 도메인 특수성 및 세분화된 오류 식별을 포함한 기업 배포의 특정 과제를 해결하며, 평가 데이터셋, 모델 가중치 및 추론 코드를 공개적으로 제공한다.
