Arabic Dialect Classification using RNNs, Transformers, and Large Language Models: A Comparative Analysis
Created by
Haebom
저자
Omar A. Essameldin, Ali O. Elbeih, Wael H. Gomaa, Wael F. Elsersy
개요
본 논문은 22개국에서 사용되는 18개의 아랍어 방언을 분류하는 문제를 다룬다. QADI 아랍어 트윗 데이터셋을 사용하여 RNN, Transformer 모델, 그리고 프롬프트 엔지니어링을 활용한 대규모 언어 모델(LLM)을 생성하고 테스트하였다. 최첨단 전처리 기법과 최신 NLP 모델을 사용하여 아랍어 방언 식별에서 가장 중요한 언어적 문제를 파악하였으며, 그 결과 MARBERTv2 모델이 65%의 정확도와 64%의 F1 점수로 가장 좋은 성능을 보였다.
시사점, 한계점
•
시사점:
◦
아랍어 방언 식별을 위한 최신 NLP 모델의 성능 평가 및 비교를 제공한다.
◦
사용자의 방언에 맞춰 응답하는 개인화된 챗봇, 소셜 미디어 모니터링, 아랍어 사용자를 위한 접근성 향상 등 다양한 응용 분야에 기여할 수 있다.
◦
아랍어 방언 식별에서의 주요 언어적 문제점을 밝힘으로써 향후 연구 방향을 제시한다.
•
한계점:
◦
MARBERTv2 모델의 정확도(65%)와 F1 점수(64%)가 아직 높지 않아 향상의 여지가 있다.
