본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제, 즉 사실과 다른 텍스트 생성 문제를 해결하기 위한 새로운 방법인 SHINE을 제안한다. 기존의 환각 검출 방법들은 외부 지식, LLM 미세 조정 또는 대규모 환각 레이블 데이터셋을 이용한 지도 학습에 의존하는 반면, SHINE은 이러한 요소들을 필요로 하지 않는다. SHINE은 프롬프트의 주요 엔티티를 변경하여 생성된 텍스트를 정렬된(aligned), 부정렬된(misaligned), 조작된(fabricated) 세 가지 유형으로 분류하는 새로운 환각 조사(hallucination probing) 작업을 통해 작동한다. 실험 결과, SHINE은 세 가지 최신 LLM에서 효과적이며, 네 가지 데이터셋과 네 가지 LLM에 걸쳐 7가지 경쟁 방법을 능가하는 최첨단 성능을 달성함으로써 정확한 검출을 위한 조사의 중요성을 강조한다.
