Dhruv Sahnan, David Corney, Irene Larraz, Giovanni Zagni, Ruben Miguez, Zhuohan Xie, Iryna Gurevych, Elizabeth Churchill, Tanmoy Chakraborty, Preslav Nakov
개요
본 논문은 자동 사실 확인 시스템이 전문가의 사실 확인 작업을 돕는 데 초점을 맞추고 있으나, 일반 대중에게 배포 가능한 형태의 결과물 생성이라는 핵심 단계를 간과하고 있다는 점을 지적합니다. 기존 자동 사실 확인 시스템은 평가에 대한 근거를 거의 또는 전혀 제공하지 않는 반면, 인간 사실 확인자는 사실 확인 기사를 통해 결과를 전달합니다. 본 연구는 이러한 간극을 해소하기 위해 자동 사실 확인 파이프라인에 자동 사실 확인 기사 생성 기능을 추가하는 것을 목표로 합니다. 주요 사실 확인 기관의 전문가 인터뷰를 통해 사실 확인 기사의 핵심 요구사항을 도출하고, 인간 사실 확인자의 글쓰기 과정을 모방하는 LLM 기반 에이전트 프레임워크인 QRAFT를 개발했습니다. 마지막으로, 전문 사실 확인자를 대상으로 한 인간 평가를 통해 QRAFT의 실용성을 평가하였습니다. 평가 결과, QRAFT는 기존의 텍스트 생성 방식보다 성능이 우수하지만, 전문가가 작성한 기사에는 상당히 미치지 못하는 것으로 나타났습니다.
시사점, 한계점
•
시사점: 자동 사실 확인 시스템에 자동 기사 생성 기능을 추가하는 새로운 연구 방향을 제시하고, LLM 기반의 QRAFT 프레임워크를 통해 기존 방식보다 개선된 결과를 도출했습니다. 일반 대중에게 사실 확인 결과를 효과적으로 전달하는 방법에 대한 새로운 접근 방식을 제시합니다.
•
한계점: QRAFT는 전문가가 작성한 기사에 비해 성능이 떨어지는 것으로 나타났습니다. 향후 연구를 통해 더욱 개선된 성능을 달성해야 합니다. 전문가 인터뷰를 통해 도출된 요구사항을 완벽히 충족하지 못했을 가능성이 존재합니다.
