RePPL: Recalibrating Perplexity by Uncertainty in Semantic Propagation and Language Generation for Explainable QA Hallucination Detection
Created by
Haebom
저자
Yiming Huang (May), Junyan Zhang (May), Zihao Wang (May), Biquan Bie (May), Xuming Hu (May), Yi R. (May), Fung, Xinlei He
개요
본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제 해결을 위한 새로운 방법인 RePPL을 제안합니다. 기존의 환각 검출 방법들이 불확실성 측정에 집중했지만, 환각 발생 원인에 대한 설명을 제공하지 못하는 한계를 극복하고자 합니다. RePPL은 의미 전파 과정과 언어 생성 과정에서 발생하는 불확실성을 두 가지 측면에서 재조정하여 토큰 단위의 설명 가능한 불확실성 점수를 제공합니다. 이 점수들을 Perplexity 스타일의 로그 평균 형태로 집계하여 전체 점수를 산출합니다. 실험 결과, RePPL은 다양한 QA 데이터셋과 고급 모델에서 최고 수준의 환각 검출 성능(평균 AUC 0.833)을 달성하였으며, 토큰 수준의 불확실성 점수를 환각 원인에 대한 설명으로 제공할 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM의 환각 문제 해결에 새로운 접근 방식 제시 (의미 전파 및 언어 생성 과정의 불확실성 분석)
◦
토큰 단위의 설명 가능한 불확실성 점수 제공을 통한 환각 발생 원인 분석 가능
◦
다양한 QA 데이터셋과 고급 모델에서 우수한 환각 검출 성능 (평균 AUC 0.833)
◦
환각의 혼돈 패턴 발견 및 활용 가능성 제시
•
한계점:
◦
RePPL의 성능 평가는 제한된 QA 데이터셋에 국한됨. 다양한 유형의 LLM 및 작업에 대한 추가적인 실험 필요.
◦
토큰 단위 불확실성 점수를 활용한 환각 패턴 분석은 아직 초기 단계이며, 더욱 심도있는 연구가 필요함.
◦
"chaotic pattern of hallucination" 에 대한 구체적인 설명이 부족함. 추가적인 분석 및 설명이 필요함.
