Hallucination Detection in LLMs with Topological Divergence on Attention Graphs
Created by
Haebom
저자
Alexandra Bazarova, Aleksandr Yugay, Andrey Shulga, Alina Ermilova, Andrei Volodichev, Konstantin Polev, Julia Belikova, Rauf Parchiev, Dmitry Simakov, Maxim Savchenko, Andrey Savchenko, Serguei Barannikov, Alexey Zaytsev
개요
대규모 언어 모델(LLM)에서 사실 오류 생성 문제인 환각 현상을 해결하기 위해, RAG 환경에서 주의 행렬로 유도된 그래프의 위상학적 발산을 측정하는 TOHA(TOpology-based HAllucination detector)를 제안합니다. 프롬프트와 응답 하위 그래프 간의 위상학적 발산을 분석하여 특정 주의 헤드에서 더 높은 발산 값이 환각 출력과 상관관계가 있음을 발견했습니다. 질문 응답 및 요약 작업을 포함한 광범위한 실험을 통해, TOHA는 최소한의 주석 데이터 및 계산 자원을 사용하여 여러 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 달성했습니다. 주의 행렬의 위상학적 구조 분석이 LLM의 사실적 신뢰도를 효율적이고 강력하게 나타낼 수 있음을 시사합니다.
시사점, 한계점
•
시사점:
◦
주의 행렬의 위상학적 구조를 분석하여 LLM의 환각 현상을 효과적으로 감지할 수 있습니다.
◦
최소한의 주석 데이터와 계산 자원을 사용하면서도 우수한 성능을 보입니다.
◦
질문 응답 및 요약 작업에서 state-of-the-art 또는 경쟁력 있는 결과를 달성했습니다.
