Consistency Is the Key: Detecting Hallucinations in LLM Generated Text By Checking Inconsistencies About Key Facts
Created by
Haebom
Category
Empty
저자
Raavi Gupta, Pranav Hari Panicker, Sumit Bhatia, Ganesh Ramakrishnan
개요
대규모 언어 모델(LLM)은 텍스트 생성 능력이 뛰어나지만, 사실과 다른 정보를 생성하는 환각 현상을 겪습니다. CONFACTCHECK는 외부 지식 기반을 사용하지 않고, 생성된 텍스트 내에서 사실 관련 질문에 대한 답변의 일관성을 통해 환각을 감지하는 효율적인 접근 방식입니다. 이 방법은 단일 LLM 및 여러 LLM 간의 답변 일관성을 확인하며, 제한된 접근 환경에서도 작동합니다. 실험 결과는 CONFACTCHECK가 기존 방법보다 적은 자원으로 높은 정확도를 달성함을 보여줍니다.
