Sign In

Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling

Created by
  • Haebom
Category
Empty

저자

Xinyue Fang, Zhen Huang, Zhiliang Tian, Minghui Fang, Ziyi Pan, Quntian Fang, Zhihua Wen, Hengyue Pan, Dongsheng Li

개요

본 논문은 긴 텍스트 생성에서 환각(hallucination)을 탐지하는 새로운 방법인 그래프 기반 상황 인식(GCA) 환각 탐지 모델을 제안합니다. 기존 연구들이 짧고 구체적인 답변에 초점을 맞춘 것과 달리, 본 논문은 개방형 답변을 가진 긴 텍스트 생성에서의 환각 탐지를 다룹니다. 기존 방법들이 여러 생성 결과 간의 일관성 비교에 의존하며, 긴 텍스트를 여러 사실들로 나누어 비교하는 과정에서 사실들 간의 정렬 문제와 상호 의존성 무시 문제를 겪는다는 점을 지적합니다. GCA 모델은 지식 트리플 추출, 그래프 기반 상호작용 모델링, 그리고 LLM 기반 역검증을 통해 이러한 문제들을 해결합니다. 특히, 트리플 지향 응답 분할을 통해 여러 지식 트리플을 추출하고, RGCN을 이용하여 지식 트리플 간의 의존성을 모델링함으로써 정확도를 높입니다. 실험 결과, 제안된 모델이 기존 방법들보다 우수한 성능을 보임을 확인했습니다.

시사점, 한계점

시사점:
긴 텍스트 생성에서의 환각 탐지 문제에 대한 효과적인 해결책 제시.
그래프 기반 모델을 활용하여 지식 트리플 간의 상호 의존성을 고려함으로써 정확도 향상.
LLM 기반 역검증을 통해 지식 트리플 누락 문제 해결.
기존 방법들의 한계점을 극복하고 우수한 성능을 달성.
한계점:
제안된 모델의 성능 평가에 사용된 데이터셋의 일반화 가능성 검토 필요.
다양한 종류의 텍스트 생성 모델에 대한 적용 가능성 및 성능 분석 필요.
RGCN의 복잡도로 인한 계산 비용 증가 문제 고려.
특정 도메인에 편향된 데이터셋 사용 가능성에 대한 고려 필요.
👍