Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Are We in the AI-Generated Text World Already? Quantifying and Monitoring AIGT on Social Media

Created by
  • Haebom

저자

Zhen Sun, Zongmin Zhang, Xinyue Shen, Ziyi Zhang, Yule Liu, Michael Backes, Yang Zhang, Xinlei He

개요

본 논문은 소셜 미디어 플랫폼에서 AI 생성 텍스트(AIGT)의 확산과 그 영향을 정량적으로 분석하고 모니터링하는 연구이다. Medium, Quora, Reddit 세 플랫폼에서 240만 개의 게시글을 수집하여 데이터셋(SM-D)을 구축하고, 다양한 오픈소스 데이터셋과 12개의 대규모 언어 모델(LLM)을 이용해 생성한 AIGT 데이터셋을 결합하여 AIGT 검출기 평가용 벤치마크 데이터셋(AIGTBench)을 생성하였다. AIGTBench를 이용하여 최고 성능의 검출기(OSM-Det)를 선정하고, 이를 SM-D에 적용하여 2022년 1월부터 2024년 10월까지 AIGT 비율(AAR)을 추적하였다. 그 결과, Medium과 Quora의 AAR은 각각 1.77%에서 37.03%, 2.06%에서 38.95%로 크게 증가한 반면, Reddit은 1.31%에서 2.45%로 느린 증가세를 보였다. 추가 분석을 통해 소셜 미디어의 AIGT는 언어 패턴, 주제 분포, 참여 수준, 작성자의 팔로워 분포 등 여러 측면에서 인간이 작성한 텍스트와 차이가 있음을 밝혔다.

시사점, 한계점

시사점:
소셜 미디어에서 AIGT의 급속한 증가를 정량적으로 측정하고, 플랫폼별 차이를 규명하였다.
AIGT 검출을 위한 효과적인 방법론과 벤치마크 데이터셋을 제공하였다.
AIGT와 인간 작성 텍스트 간의 차이점을 다양한 측면에서 분석하여 향후 연구 방향을 제시하였다.
소셜 미디어에서의 허위 정보 확산 및 여론 조작 문제에 대한 이해를 높였다.
한계점:
분석 대상 플랫폼이 Medium, Quora, Reddit 세 곳으로 제한되어 일반화 가능성에 한계가 있다.
AIGT 검출의 정확도에 대한 지속적인 검증 및 개선이 필요하다.
AIGT의 사회적 영향에 대한 심층적인 분석이 부족하다.
특정 LLM에 의존하여 생성된 AIGT 데이터셋의 편향 가능성이 존재한다.
👍