Use of Retrieval-Augmented Large Language Model Agent for Long-Form COVID-19 Fact-Checking
Created by
Haebom
Category
Empty
저자
Jingyi Huang, Yuyi Yang, Mengmeng Ji, Charles Alba, Sheng Zhang, Ruopeng An
개요
COVID-19 관련 팩트체크 자동화를 위해 개발된 SAFE(system for accurate fact extraction and evaluation)는 긴 형식의 가짜 뉴스에 대한 정확하고 신뢰성 있는 팩트체크를 목표로 한다. 이 시스템은 대규모 언어 모델과 검색 증강 생성(RAG)을 결합하여, 두 개의 에이전트(주장 추출 및 검증)를 활용한다. LOTR-RAG 기반의 SAFE와 Self-RAG를 통합한 SAFE(+SRAG)를 개발하여 50개의 가짜 뉴스 기사에 대해 평가했다. SAFE는 기본 LLM보다 모든 지표에서 유의미하게 높은 성능을 보였으며, LOTR-RAG 기반 SAFE가 전반적으로 더 높은 점수를 기록했다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델과 RAG를 결합한 시스템(SAFE)은 긴 형식의 코로나19 관련 허위 정보 팩트체크에 효과적이다.
◦
LOTR-RAG 기반 설계는 일관성과 설명 가능성 측면에서 기본 LLM보다 개선된 성능을 보였다.
◦
SAFE는 유용성, 명확성, 신뢰성 평가에서 높은 점수를 받았다.
•
한계점:
◦
Self-RAG를 추가한 SAFE(+SRAG)는 LOTR-RAG 기반 SAFE보다 전반적인 성능이 약간 낮았다.
