Sign In

COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations

Created by
  • Haebom
Category
Empty

저자

Rui Xing, Preslav Nakov, Timothy Baldwin, Jey Han Lau

개요

X, Meta, TikTok 등 주요 플랫폼의 팩트체크 방식이 전문가 검증에서 사용자 기반 커뮤니티 방식으로 전환됨에 따라, 설명 노트의 유용성을 평가하는 문제가 중요해졌습니다. 기존 연구에서는 설명 노트의 유용성과 그 이유에 대한 명확한 정의가 부족했습니다. 이 논문은 설명 노트의 유용성 예측과 그 이유를 예측하는 과제를 제시합니다. 104,000개의 게시물, 사용자 제공 노트, 유용성 레이블을 포함하는 대규모 다국어 데이터세트 COMMUNITYNOTES를 소개하며, 자동 프롬프트 최적화를 통해 이유 정의를 생성하고 개선하는 프레임워크를 제안합니다. 실험 결과, 최적화된 정의가 유용성 및 이유 예측을 향상시켰으며, 유용성 정보가 기존 팩트체크 시스템에 도움이 된다는 것을 확인했습니다.

시사점, 한계점

시사점:
사용자 기반 팩트체크 환경에서 설명 노트의 유용성을 예측하는 새로운 과제 제시.
대규모 다국어 데이터세트 COMMUNITYNOTES 구축.
자동 프롬프트 최적화를 통한 이유 정의 생성 및 개선 프레임워크 제안.
최적화된 이유 정의가 유용성 및 이유 예측 성능 향상에 기여.
유용성 정보가 기존 팩트체크 시스템에 유용함을 입증.
한계점:
커뮤니티 노트의 유용성을 판단하는 기준이 주관적일 수 있으며, 데이터셋에 편향이 존재할 수 있음.
자동 프롬프트 최적화의 일반화 가능성에 대한 추가 연구 필요.
제안된 프레임워크가 다양한 언어 및 문화권에 얼마나 효과적으로 적용될 수 있는지 추가적인 검증 필요.
👍