Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Feature Selection Empowered BERT for Detection of Hate Speech with Vocabulary Augmentation

Created by
  • Haebom
Category
Empty

저자

Pritish N. Desai, Tanay Kewalramani, Srimanta Mandal

개요

소셜 미디어에서 혐오 발언은 새로운 은어와 탐지 시스템을 회피하기 위한 용어의 지속적인 등장으로 인해 지속적인 문제로 남아 있습니다. 본 연구에서는 BERT를 혐오 발언 분류에 미세 조정하기 위한 데이터 효율적인 전략을 제시하며, 성능 저하 없이 훈련 세트 크기를 대폭 줄입니다. TF-IDF 기반 표본 선택 메커니즘을 사용하여 가장 유용한 예시의 75%만 유지함으로써 훈련 오버헤드를 최소화합니다. 또한, 진화하는 혐오 발언 용어를 포착하기 위해 BERT의 기본 어휘를 보완하기 위해 도메인 특정 은어와 학대적인 맥락에서 흔히 발견되는 어휘 변형을 추가했습니다. 널리 사용되는 혐오 발언 데이터 세트에 대한 실험 결과는 계산 효율성을 개선하면서 경쟁력 있는 성능을 달성하여 확장 가능하고 적응 가능한 유해 콘텐츠 관리에 대한 잠재력을 강조했습니다.

시사점, 한계점

데이터 효율적인 BERT 미세 조정 전략 제시: 훈련 세트 크기를 줄여 훈련 오버헤드를 감소시키면서도 경쟁력 있는 성능을 달성했습니다.
TF-IDF 기반 표본 선택: 가장 유용한 예시를 선택하여 정보 손실을 최소화했습니다.
도메인 특정 어휘 추가: BERT의 어휘 제약을 극복하고 진화하는 혐오 발언 용어를 더 잘 포착할 수 있도록 했습니다.
확장 가능하고 적응 가능한 유해 콘텐츠 관리에 대한 잠재력 제시.
한계점: 구체적인 성능 지표 및 데이터셋에 대한 추가 정보가 필요합니다.
👍