Sign In

Hope Speech Detection in Social Media English Corpora: Performance of Traditional and Transformer Models

Created by
  • Haebom
Category
Empty

저자

Luis Ramos, Hiram Calvo, Olga Kolesnikova

개요

소셜 미디어 플랫폼에서 동기 부여 표현을 감지하기 위한 NLP 과제로서 희망 발언 식별을 연구했다. 기존 머신 러닝 모델과 미세 조정된 트랜스포머를 사용하여 분할된 희망 발언 데이터 세트를 평가했다. 개발 테스트에서 선형 커널 SVM과 로지스틱 회귀는 모두 매크로 F1 0.78을 달성했고, RBF 커널 SVM은 0.77, Naive Bayes는 0.75를 기록했다. 트랜스포머 모델은 더 나은 결과를 보였으며, 최고의 모델은 가중 정밀도 0.82, 가중 재현율 0.80, 가중 F1 0.79, 매크로 F1 0.79, 정확도 0.80을 달성했다.

시사점, 한계점

시사점:
기존 머신 러닝 모델도 희망 발언 감지에 효과적으로 사용될 수 있다.
트랜스포머 아키텍처는 희망의 미묘한 의미를 더 잘 감지하여 더 높은 정밀도와 재현율을 달성한다.
대형 트랜스포머와 LLM은 작은 데이터 세트에서도 더 나은 성능을 보일 수 있다.
한계점:
논문에 구체적인 한계점 언급은 없음.
👍