Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Created by
Haebom
저자
Omar A. Essameldin, Ali O. Elbeih, Wael H. Gomaa, Wael F. Elsersy
개요
본 논문은 22개국에서 사용되는 18개의 아랍어 방언을 분류하는 문제를 다룬다. QADI 데이터셋의 아랍어 트윗을 이용하여 RNN, Transformer 모델, 그리고 프롬프트 엔지니어링을 활용한 대규모 언어 모델(LLM)을 생성하고 테스트하였다. 그 결과, MARBERTv2 모델이 65%의 정확도와 64%의 F1 점수로 가장 우수한 성능을 보였다. 최신 자연어 처리(NLP) 모델과 최첨단 전처리 기법을 사용하여 아랍어 방언 식별에서 가장 중요한 언어적 문제점들을 파악하였다.
시사점, 한계점
•
시사점:
◦
사용자의 방언에 맞춰 응답하는 개인화된 챗봇, 소셜 미디어 모니터링, 아랍어 사용자를 위한 접근성 향상 등의 응용 분야에 기여할 수 있다.
◦
최신 NLP 모델과 전처리 기법을 활용하여 아랍어 방언 식별의 정확도를 향상시킬 수 있는 방안을 제시한다.
•
한계점:
◦
MARBERTv2 모델의 정확도(65%)와 F1 점수(64%)는 아직 완벽하지 않으며, 향상의 여지가 있다.
