From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

Created by

Haebom

저자

Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic

💡 개요

본 연구는 대규모 언어 모델(LLM)의 환각(hallucination) 탐지를 아웃-오브-디스트리뷰션(OOD) 탐지 문제로 재해석합니다. 기존 질문-답변 기반 환각 탐지 방법이 추론 기반 작업에서 성능이 저하되는 문제를 해결하기 위해, 다음 토큰 예측을 분류 문제로 간주하고 OOD 탐지 기법을 LLM 구조에 맞게 수정하여 적용합니다. 이를 통해 훈련 없이 단일 샘플로 환각을 탐지하는 고성능 검출기를 개발하여 LLM 안전성 확보에 기여합니다.

🔑 시사점 및 한계

•

환각 탐지를 OOD 탐지 문제로 접근함으로써, LLM 안전성 확보에 대한 새롭고 확장 가능한 방법론을 제시합니다.

•

제안된 OOD 기반 접근 방식은 별도의 훈련 없이 단일 샘플만으로도 추론 기반 작업에서 우수한 환각 탐지 성능을 보입니다.

•

아직 추론 복잡성이 높은 특정 유형의 추론 작업이나 매우 미묘한 환각에 대한 탐지 성능은 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage