HARP: Hallucination Detection via Reasoning Subspace Projection

Created by

Haebom

저자

Junjie Hu, Gang Tu, ShengYu Cheng, Jinxin Li, Jinting Wang, Rui Chen, Zhilong Zhou, Dongbo Shan

💡 개요

본 논문은 대규모 언어 모델(LLM)의 환각 문제를 해결하기 위해 HARP (Hallucination detection via reasoning subspace projection)라는 새로운 환각 탐지 프레임워크를 제안합니다. HARP는 LLM의 은닉 상태 공간을 의미 공간과 추론 공간으로 분해하고, 추론 공간에 투영하여 환각 탐지를 수행합니다. 실험 결과, HARP는 기존 방법론 대비 뛰어난 성능을 보이며, 특히 TriviaQA 데이터셋에서 AUROC 92.8%를 달성하여 7.5% 향상을 보였습니다.

🔑 시사점 및 한계

•

LLM의 은닉 상태 공간을 의미적 정보와 추론 정보로 분리하여 환각 탐지의 정확성과 견고성을 향상시켰습니다.

•

특징 차원을 효과적으로 축소하여 노이즈를 줄이고, 계산 효율성을 높였습니다.

•

본 연구는 특정 LLM 아키텍처 및 데이터셋에 대한 성능을 중심으로 평가되었으므로, 다양한 모델과 데이터에 대한 일반화 성능 검증이 필요합니다.

PDF 보기

Made with Slashpage