Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Data Quality Issues in Multilingual Speech Datasets: The Need for Sociolinguistic Awareness and Proactive Language Planning

Created by
  • Haebom

저자

Mingfei Lau, Qian Chen, Yeming Fang, Tingting Xu, Tongzhou Chen, Pavel Golik

개요

본 논문은 Mozilla Common Voice 17.0, FLEURS, Vox Populi 세 가지 다국어 음성 데이터셋의 품질 감사 결과를 제시합니다. 감사 결과, 일부 언어에서 현저한 품질 문제가 발견되었는데, 이는 하위 평가 결과를 왜곡하고 성공적인 결과를 만들어내는 환상을 불러일으킬 수 있습니다. 품질 문제는 미시적 수준과 거시적 수준으로 나뉘며, 거시적 수준의 문제는 제도화되지 않고 자원이 부족한 언어에서 더 흔하게 나타납니다. 대만 남부 민어(nan_tw)에 대한 사례 분석을 통해 사전적 언어 계획(예: 표기법 규정, 방언 경계 정의)과 데이터셋 생성 과정에서의 향상된 품질 관리의 필요성을 강조합니다. 향후 데이터셋 개발에서 이러한 문제를 완화하기 위한 지침과 권장 사항을 제시하며, 사회언어학적 인식과 언어 계획 원칙의 중요성을 강조합니다. 또한, 이 생성 과정 자체가 공동체 주도 언어 계획 및 활성화 도구로 활용될 수 있는 방법에 대한 연구를 장려합니다.

시사점, 한계점

시사점:
다국어 음성 데이터셋의 품질 문제가 하위 과제 평가 결과에 심각한 영향을 미칠 수 있음을 보여줌.
자원 부족 언어에서의 거시적 수준의 품질 문제가 더 심각함을 강조.
사전적 언어 계획과 향상된 데이터 품질 관리의 중요성을 부각.
데이터셋 생성 과정을 공동체 주도 언어 계획 및 활성화 도구로 활용할 수 있는 가능성 제시.
한계점:
분석 대상 데이터셋이 세 개로 제한적임.
특정 언어(대만 남부 민어)에 대한 사례 분석에 치우침.
제시된 지침과 권장 사항의 구체적인 실행 방안 부족.
👍