The System Hallucination Scale (SHS): A Minimal yet Effective Human-Centered Instrument for Evaluating Hallucination-Related Behavior in Large Language Models

Created by

Haebom

저자

Heimo Muller, Dominik Steiger, Markus Plass, Andreas Holzinger

💡 개요

본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 관련 행동을 평가하기 위한 새롭고 간결하며 사용자 중심적인 측정 도구인 '시스템 환각 척도(SHS)'를 제안합니다. SHS는 사실적 신뢰성 부족, 비일관성, 오해의 소지가 있는 제시, 사용자 지침에 대한 응답성 등 환각 현상이 사용자 관점에서 어떻게 나타나는지를 실시간 상호작용 조건에서 포착합니다. 210명의 참가자를 대상으로 한 실제 평가에서 SHS는 높은 명확성, 일관된 응답 행동, 그리고 통계적으로 유의미한 구성 타당도를 입증했습니다.

🔑 시사점 및 한계

•

사용자 경험 중심 평가: SHS는 LLM의 환각을 기술적인 지표가 아닌, 실제 사용자가 겪는 경험의 관점에서 평가할 수 있는 간편하고 효과적인 방법을 제공합니다.

•

다차원적이고 도메인 불가지적 평가: 사실성, 일관성, 제시 방식, 사용자 지침 반응성 등 다양한 환각 현상을 포괄적으로 평가하며, 특정 도메인에 국한되지 않아 폭넓게 적용 가능합니다.

•

기존 척도와의 보완성: SUS 및 SCS와 같은 기존 척도와의 비교 분석을 통해 SHS가 상호 보완적인 측정 속성을 가지며, 시스템 비교 분석, 개발 및 배포 모니터링에 실질적으로 기여할 수 있음을 보여줍니다.

•

자동 감지 도구의 한계: SHS는 자동화된 환각 탐지기나 벤치마크 지표가 아니므로, 객관적인 환각 발생 빈도 측정에는 한계가 있을 수 있습니다.

PDF 보기

Made with Slashpage