Mitigating Hallucinations in Large Language Models via Causal Reasoning
Created by
Haebom
Category
Empty
저자
Yuangang Li, Yiqing Shen, Yi Nian, Jiechao Gao, Ziyi Wang, Chenxiao Yu, Shawn Li, Jie Wang, Xiyang Hu, Yue Zhao
개요
본 논문은 대규모 언어 모델(LLM)의 논리적 모순 및 환각 현상을 해결하기 위해, 변수 수준의 방향성 비순환 그래프(DAG)를 명시적으로 구성하고 추론하는 지도 학습 기반 프레임워크인 CDCR-SFT를 제안한다. 이를 위해 CausalDR 데이터셋을 구축하고, CDCR-SFT를 통해 LLM의 인과 추론 능력을 향상시키고 환각 현상을 줄이는 것을 목표로 한다. 실험 결과, CDCR-SFT는 CLADDER에서 최고 성능을 달성하고 HaluEval에서 환각 현상을 감소시키는 효과를 보였다.
시사점, 한계점
•
시사점:
◦
LLM의 인과 추론 능력 향상 및 환각 현상 감소를 위한 새로운 접근 방식 제시
◦
변수 수준의 DAG 명시적 구성을 통한 추론 방식은 LLM의 논리적 일관성을 높이는 데 효과적임을 입증
