본 논문은 YouTube의 고악성 댓글 스레드에서 추출한 5,080개의 댓글(영어, 아랍어, 인도네시아어)을 사용하여 OpenAI GPT-4.1, Google Gemini 1.5 Pro, Anthropic Claude 3 Opus 세 가지 주요 대규모 언어 모델의 유해 댓글 탐지 성능을 벤치마킹했습니다. 데이터셋은 두 명의 검토자에 의해 독립적으로 주석이 달렸으며(Cohen's kappa = 0.83), GPT-4.1이 F1 score 0.863, 정밀도 0.887, 재현율 0.841로 가장 균형 잡힌 성능을 보였습니다. Gemini는 가장 높은 재현율(0.875)을 기록했지만, 높은 오탐율로 인해 정밀도가 0.767로 낮았습니다. Claude는 가장 높은 정밀도(0.920)와 낮은 오탐율(0.022)을 보였지만, 재현율은 0.720으로 낮았습니다. 모든 모델은 풍자, 은유적 모욕, 혼합 언어 속어에 어려움을 보였으며, 상호 보완적인 모델 결합, 대화 맥락 고려, 저자원 언어 및 암시적 학대에 대한 미세 조정의 필요성을 강조했습니다. 데이터셋과 프롬프트는 공개적으로 배포되었습니다.
