Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Is LLMs Hallucination Usable? LLM-based Negative Reasoning for Fake News Detection

Created by
  • Haebom
Category
Empty

저자

Chaowei Zhang, Zongling Feng, Zewei Zhang, Jipeng Qiang, Guandong Xu, Yun Li

개요

본 논문은 대규모 언어 모델(LLM)의 환각(hallucination) 현상이 가짜 뉴스 탐지에 활용될 수 있는 가능성을 제시합니다. LLM의 환각으로 인해 발생하는 비합리적인 추론(negative reasoning)을 활용하여 가짜 뉴스를 탐지하는 새로운 방법을 제안합니다. 이를 위해, 공통적인 합리적인 추론과 잘못된 이해를 모두 생성하는 지도학습 기반 자기 강화 추론 수정 접근 방식(SR³)을 제안하고, 이를 바탕으로 긍정적 또는 부정적 뉴스 추론 쌍을 활용하여 의미 일관성을 학습하는 부정적 추론 기반 뉴스 학습 모델(NRFE)을 제시합니다. 라벨에 의존적인 추론의 영향을 피하기 위해, NRFE에서 지식을 증류하여 뉴스 내용만을 입력으로 받는 학생 모델(NRFE-D)을 추가적으로 제시합니다. 세 개의 가짜 뉴스 데이터셋에서 실험을 진행하여 제안된 방법의 우수성을 검증합니다.

시사점, 한계점

시사점:
LLM의 환각 현상을 가짜 뉴스 탐지에 활용하는 새로운 접근 방식 제시.
기존 방법보다 우수한 가짜 뉴스 탐지 성능을 보이는 모델(NRFE, NRFE-D) 개발.
합리적인 추론과 비합리적인 추론을 모두 활용하여 더욱 강건한 가짜 뉴스 탐지 시스템 구축 가능성 제시.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요.
다양한 유형의 가짜 뉴스에 대한 robustness 검증 필요.
LLM의 환각 현상 자체의 불안정성으로 인한 성능 저하 가능성 존재.
사용된 데이터셋의 한계로 인한 일반화 성능 저하 가능성.
👍