Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Hallucination to Truth: A Review of Fact-Checking and Factuality Evaluation in Large Language Models

Created by
  • Haebom

저자

Subhey Sadi Rahman, Md. Adnanul Islam, Md. Mahbub Alam, Musarrat Zeba, Md. Abdur Rahman, Sadia Sultana Chowa, Mohaimenul Azam Khan Raiaan, Sami Azam

개요

대규모 언어 모델(LLM)은 부정확한 콘텐츠를 포함하는 방대한 인터넷 데이터를 기반으로 훈련되어, 허위 정보를 생성할 수 있다. 이 리뷰는 LLM이 생성한 콘텐츠의 사실적 정확성을 평가하는 방법을 체계적으로 분석한다. 환각, 데이터 세트 제한, 평가 지표의 신뢰성과 같은 주요 과제를 살펴보고, 고급 프롬프팅 전략, 도메인별 미세 조정, 검색 증강 생성(RAG) 방법을 통합한 강력한 사실 확인 프레임워크의 필요성을 강조한다. 2020년부터 2025년까지의 최신 문헌을 평가 방법 및 완화 기술에 초점을 맞춰 5가지 연구 질문을 제시한다. 또한, Instruction tuning, 멀티 에이전트 추론, 외부 지식 접근을 위한 RAG 프레임워크를 검토한다.

시사점, 한계점

현재 지표의 한계점
검증된 외부 증거의 중요성
도메인별 맞춤화를 통한 사실 일관성 향상
보다 정확하고 이해하기 쉬우며 상황 인지적인 사실 확인 구축의 중요성
데이터 세트 및 평가 지표의 신뢰성 문제
LLM이 생성한 콘텐츠의 사실적 정확성 평가에 대한 추가 연구 필요
👍