Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Ibom NLP: A Step Toward Inclusive Natural Language Processing for Nigeria's Minority Languages

Created by
  • Haebom
Category
Empty

저자

Oluwadara Kalejaiye, Luel Hagos Beyene, David Ifeoluwa Adelani, Mmekut-Mfon Gabriel Edet, Aniefon Daniel Akpan, Eno-Abasi Urua, Anietie Andy

개요

나이지리아는 아프리카에서 가장 인구가 많은 나라이며, 500개 이상의 언어가 사용되는 언어적으로 매우 다양한 국가입니다. 그럼에도 불구하고, 자연어 처리(NLP) 연구는 Hausa, Igbo, Nigerian-Pidgin, Yoruba 등 소수의 언어에 집중되어 왔습니다. 본 연구에서는 Akwa Ibom 주에서 사용되는 Anaang, Efik, Ibibio, Oro 등 4개의 해안 나이지리아 언어에 대한 기계 번역 및 주제 분류를 위한 데이터세트 ibom을 소개합니다. 이 언어들은 Google 번역이나 Flores-200 또는 SIB-200과 같은 주요 벤치마크에 포함되어 있지 않습니다. 우리는 Flores-200 벤치마크를 이 언어들로 확장하고, 번역된 텍스트를 SIB-200 분류 데이터세트를 기반으로 하는 주제 레이블과 정렬하는 데 중점을 둡니다. 평가는 현재 LLM이 이러한 언어에 대해 제로샷 및 퓨샷 설정 모두에서 기계 번역에 대한 성능이 낮음을 보여주지만, 퓨샷 샘플은 더 많은 샷으로 주제 분류를 꾸준히 향상시키는 것을 확인했습니다.

시사점, 한계점

시사점:
나이지리아 해안 언어 (Anaang, Efik, Ibibio, Oro)에 대한 기계 번역 및 주제 분류를 위한 데이터세트 ibom을 구축하여, 소외된 언어 자원 부족 문제를 해결.
Flores-200 벤치마크를 확장하여, 해당 언어에 대한 평가 환경을 제공.
퓨샷 학습을 통해 주제 분류 성능 향상을 확인, 소량의 데이터로도 긍정적인 결과를 얻을 수 있음을 시사.
한계점:
현재 LLM이 나이지리아 해안 언어의 기계 번역에서 낮은 성능을 보임.
연구 범위가 Akwa Ibom 주 4개 언어에 국한되어, 나이지리아 내 다른 언어에 대한 일반화 어려움.
👍