본 논문은 언어 모델의 환각 현상 측정에 대한 연구를 진행했습니다. 현재의 환각 감지 지표들이 신뢰성과 일반화 측면에서 한계가 있다는 점을 지적하며, 4개의 데이터셋, 37개의 다양한 언어 모델, 5가지 디코딩 방식을 사용하여 6가지 종류의 환각 감지 지표를 대규모로 평가했습니다. 연구 결과, 기존 지표들은 인간의 판단과 일치하지 않고, 문제에 대한 근시안적인 접근 방식을 보이며, 모델 크기 증가에 따른 일관성 없는 성능 향상을 보였습니다. 긍정적인 측면으로는 GPT-4와 같은 LLM 기반 평가가 가장 좋은 결과를 보였으며, 모드 탐색 디코딩 방식이 환각을 줄이는 데 효과적인 것으로 나타났습니다.
