Enhancing Uncertainty Modeling with Semantic Graph for Hallucination Detection
Created by
Haebom
Category
Empty
저자
Kedi Chen, Qin Chen, Jie Zhou, Xinqi Tao, Bowen Ding, Jingwen Xie, Mingchen Xie, Peilong Li, Feng Zheng, Liang He
개요
본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 문제 해결을 위한 새로운 방법을 제시합니다. 기존의 불확실성 기반 환각 검출 방법들이 각 토큰의 불확실성만 고려하는 한계를 극복하고자, 토큰과 문장 간의 의미 관계를 포착하는 의미 그래프를 활용합니다. 구체적으로, 의미 그래프를 구성하여 엔티티 토큰과 문장 간의 관계를 파악하고, 이를 통해 불확실성을 전파하여 문장 수준의 환각 검출 성능을 향상시킵니다. 또한, 문장 간의 모순 확률을 고려하여 그래프 기반 불확실성 보정 방법을 제시합니다. 두 개의 데이터셋에 대한 실험 결과, 특히 문장 수준 환각 검출에서 19.78%의 성능 향상을 보였습니다.
시사점, 한계점
•
시사점:
◦
의미 그래프를 활용하여 토큰 간의 의미 관계를 고려함으로써, 기존 방법보다 더 정확한 환각 검출이 가능함을 보여줌.
