Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German

작성자

Haebom

카테고리

Empty

저자

Sajjad Abdoli, Ghassan Al-Sumaidaee, Clayton W. Taylor, Ahmad ElShiekh, Ahmed Rashad

💡 개요

본 연구는 코드 스위칭(한 발화 내 두 언어 간 전환) 음성에 대한 상용 자동 음성 인식(ASR) 시스템의 성능을 평가하기 위해 아랍어-영어, 페르시아어-영어, 독일어-영어 등 네 가지 언어 쌍에 대한 벤치마크를 구축했습니다. GPT-4o 및 Gemini 1.5 Pro와 같은 LLM을 활용한 두 단계 파이프라인을 통해 선별된 300개의 샘플로 구성된 각 데이터셋을 평가했으며, ElevenLabs Scribe v2가 가장 낮은 단어 오류율(WER)과 가장 높은 BERTScore를 달성하며 전반적으로 우수한 성능을 보였습니다.

🔑 시사점 및 한계

•

실제 다국어 환경에서의 ASR 성능을 평가하는 데 있어 기존의 단일 WER 지표만으로는 한계가 있으며, BERTScore와 같은 의미론적 평가 지표의 중요성이 부각됩니다.

•

집계 평균값 아래에 숨겨진 성능 격차를 파악하기 위해 난이도 계층화 분석이 효과적이며, BERT 임베딩 투영은 표면적인 스크립트 차이에도 불구하고 의미적 유사성을 확인하는 데 도움을 줍니다.

•

본 연구에서 구축된 벤치마킹 데이터셋은 코드 스위칭 ASR 연구의 발전에 기여할 공개 자료로 활용될 수 있습니다.

•

LLM 기반 평가 파이프라인의 비용 효율성을 높였지만, 여전히 데이터 수집 및 레이블링 과정에서 발생할 수 있는 잠재적인 편향성과 LLM 자체의 한계는 지속적인 연구 과제로 남습니다.

PDF 보기

Made with Slashpage