Han Wang, Yi Zhu, Ye Wang, Yun Li, Yunhao Yuan, Jipeng Qiang
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 클릭베이트 탐지 시스템의 성능을 분석합니다. 영어와 중국어 벤치마크 데이터셋을 사용하여 퓨샷 및 제로샷 시나리오에서 LLM의 성능을 평가한 결과, LLM은 최첨단 심층 학습 및 미세 조정 PLM 방법에 비해 최고의 성능을 달성하지 못했습니다. 실험 결과는 LLM이 헤드라인만으로 만족스러운 클릭베이트 탐지를 수행할 수 없음을 보여주며, 인간의 직관과는 다른 결과를 제시합니다.
시사점, 한계점
•
시사점: LLM이 모든 NLP 과제에 효과적인 것은 아니며, 클릭베이트 탐지와 같이 특정 과제에서는 기존의 심층 학습 기반 방법보다 성능이 떨어질 수 있음을 시사합니다. LLM을 클릭베이트 탐지에 적용하는 데 있어 헤드라인만으로는 충분하지 않다는 것을 보여줍니다.
•
한계점: 본 연구는 제한된 언어(영어와 중국어)와 데이터셋에 대해서만 실험을 진행했습니다. 다양한 언어와 데이터셋에 대한 추가 연구가 필요합니다. LLM의 클릭베이트 탐지 성능 향상을 위한 추가적인 연구가 필요하며, 헤드라인 외 다른 정보(예: 본문 내용)를 활용하는 방법에 대한 연구가 필요합니다.
