Sign In

Assessing the Potential of Generative Agents in Crowdsourced Fact-Checking

Created by
  • Haebom
Category
Empty

저자

Luigia Costabile, Gian Marco Orlando, Valerio La Gatta, Vincenzo Moscato

개요

온라인 허위 정보 확산에 대응하기 위해 비용 효율적인 대안으로 떠오르는 크라우드 소싱 기반 팩트 체킹의 가능성을 탐구한다. 대규모 언어 모델(LLM) 기반 생성 에이전트가 인간 군중의 역할을 대신하여 팩트 체킹 작업에 기여할 수 있는지 연구한다. 다양한 프로필을 가진 생성 에이전트 군중을 시뮬레이션하여 증거를 검색하고, 주장을 평가하며, 최종 진실성 판단을 내리도록 했다. 그 결과, 에이전트 군중이 인간 군중보다 진실성 분류에서 더 나은 성능을 보였고, 내부 일관성이 높으며, 사회적 및 인지적 편향에 덜 취약했다.

시사점, 한계점

시사점:
LLM 기반 생성 에이전트는 크라우드 소싱 기반 팩트 체킹 시스템에 확장 가능하고, 일관적이며, 편향이 적은 기여자가 될 수 있다.
에이전트들은 정확성, 정밀성, 정보 제공성과 같은 정보 기준에 더 체계적으로 의존하여 더 구조화된 의사 결정 프로세스를 보인다.
인간 군중보다 더 나은 진실성 분류, 높은 내부 일관성, 편향 감소를 달성했다.
한계점:
본 논문에서는 구체적인 한계점에 대한 언급이 없음.
👍