IndoToxic2024: A Demographically-Enriched Dataset of Hate Speech and Toxicity Types for Indonesian Language
Created by
Haebom
저자
Lucky Susanto, Musa Izzanardi Wijanarko, Prasetia Anugrah Pratama, Traci Hong, Ika Idris, Alham Fikri Aji, Derry Wijaya
개요
본 논문은 인도네시아의 증가하는 온라인 혐오 표현 문제를 해결하기 위해, 인도네시아어 혐오 표현 및 독성 분류 데이터셋인 IndoToxic2024를 제시합니다. 특히 소외된 소수 집단을 겨냥한 혐오 표현에 초점을 맞추고 있으며, 대통령 선거 기간 동안의 데이터를 포함하여 43,692개의 항목으로 구성됩니다. IndoBERTweet 모델을 사용한 기준 성능 평가에서 0.78의 macro-F1 점수를 달성하였고, GPT-3.5-turbo 모델의 제로샷 성능 향상을 위한 인구 통계 정보 활용 가능성을 보여줍니다. 하지만 인구 통계 정보의 과도한 사용은 데이터 분열로 이어져 성능 저하를 야기할 수 있다는 점을 지적합니다.
시사점, 한계점
•
시사점:
◦
인도네시아어 혐오 표현 및 독성 분류를 위한 대규모 데이터셋 IndoToxic2024 제공
◦
소외된 소수 집단을 겨냥한 혐오 표현에 대한 집중적인 분석 가능
◦
BERT 기반 모델을 이용한 효과적인 혐오 표현 탐지 가능성 제시
◦
인구 통계 정보 활용을 통한 제로샷 성능 향상 가능성 확인
•
한계점:
◦
인구 통계 정보의 과도한 사용이 모델 성능 저하를 야기할 수 있음
◦
데이터셋의 주요 출처가 대통령 선거 기간으로 한정되어 일반화 가능성에 대한 추가 연구 필요
