Sign In

BUSTED at AraGenEval Shared Task: A Comparative Study of Transformer-Based Models for Arabic AI-Generated Text Detection

Created by
  • Haebom
Category
Empty

저자

Ali Zain, Sareem Farooqui, Muhammad Rafi

개요

BUSTED 팀은 아랍어 AI 생성 텍스트 감지에 대한 AraGenEval 공유 작업에 참여하여 5위를 달성했습니다. AraELECTRA, CAMeLBERT, XLM-RoBERTa의 세 가지 사전 훈련된 변환기 모델의 효과를 조사했습니다. 각 모델을 제공된 데이터 세트에 대해 이진 분류 작업으로 미세 조정했습니다. 다국어 XLM-RoBERTa 모델이 F1 점수 0.7701로 가장 높은 성능을 보였으며, 특화된 아랍어 모델보다 뛰어난 결과를 얻었습니다.

시사점, 한계점

다국어 모델의 강력한 일반화 능력 입증.
AI 생성 텍스트 감지의 복잡성 강조.
공유 작업에서 5위 달성.
연구에 사용된 데이터 세트의 특정 특성에 따라 결과가 달라질 수 있음.
사용된 모델의 성능을 더 개선할 수 있는 가능성.
👍