Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Are Large Language Models Good at Detecting Propaganda?

Created by
  • Haebom

저자

Julia Jose, Rachel Greenstadt

개요

본 논문은 대규모 언어 모델(LLM)을 사용하여 뉴스 기사에서 선전 기법을 탐지하는 연구를 다룹니다. GPT-4, GPT-3.5, Claude 3 Opus와 같은 LLM과 Transformer 기반 모델인 RoBERTa-CRF, 그리고 MultiGranularity Network (MGN)의 성능을 비교 분석합니다. 여섯 가지 선전 기법 중 하나인 '인신 공격' 탐지에서는 모든 LLM이 MGN 기준 모델보다 성능이 우수했으며, GPT-3.5와 GPT-4는 '공포심 조장'과 '국가주의 선동' 탐지에서도 MGN 기준 모델보다 나은 성능을 보였습니다. 하지만 GPT-4의 F1 점수(0.16)는 RoBERTa-CRF 기준 모델(0.67)에 미치지 못했습니다.

시사점, 한계점

시사점: LLM이 특정 선전 기법(예: 인신 공격, 공포심 조장, 국가주의 선동) 탐지에 유용할 수 있음을 시사합니다. 특히 GPT-4는 다른 LLM보다 우수한 성능을 보였습니다.
한계점: LLM의 전반적인 선전 기법 탐지 성능이 Transformer 기반 모델보다 낮았습니다. GPT-4를 포함한 모든 LLM의 F1 점수가 RoBERTa-CRF 기준 모델보다 낮았습니다. 분석 대상 선전 기법이 제한적이며, 모든 유형의 선전 기법에 대한 탐지 성능이 검증되지 않았습니다.
👍