Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Lightweight End-to-end Text-to-speech Synthesis for low resource on-device applications

Created by
  • Haebom

저자

Biel Tura Vecino, Adam Gabrys, Daniel M\k{a}twicki, Andrzej Pomirski, Tom Iddon, Marius Cotescu, Jaime Lorenzo-Trueba

개요

본 논문은 기존의 캐스케이드 또는 2단계 방식의 신경망 기반 음성합성(TTS) 시스템보다 자연스러운 음성을 생성하는 직접적인 텍스트-음파형태(E2E) 모델링의 장점을 활용하면서도, 계산 복잡도와 메모리 소모량이 많은 기존 E2E 모델의 한계를 극복하기 위해 경량화된 E2E-TTS(LE2E) 모델을 제안합니다. LE2E 모델은 LJSpeech 데이터셋을 사용하여 평가되었으며, 최첨단 성능을 달성하면서 모델 파라미터는 최대 90% 감소하고 실시간 처리 속도는 10배 향상되었음을 보여줍니다. 또한, 제안된 E2E 학습 방식이 2단계 방식으로 학습된 동등한 구조보다 더 나은 음성 품질을 달성함을 증명합니다. 결론적으로 LE2E는 실시간, 고품질, 저자원 TTS 애플리케이션, 특히 온디바이스 애플리케이션 개발에 유망한 접근 방식임을 제시합니다.

시사점, 한계점

시사점:
경량화된 E2E-TTS 모델(LE2E)을 통해 고품질 음성 합성을 위한 계산 자원 소모를 크게 줄일 수 있음을 보여줌.
E2E 학습 방식이 기존의 2단계 방식보다 더 나은 음성 품질을 제공함을 확인.
저자원 환경에서의 실시간 온디바이스 TTS 애플리케이션 개발에 기여할 수 있는 가능성 제시.
한계점:
LJSpeech 데이터셋 하나만 사용하여 평가되었으므로, 다른 데이터셋에 대한 일반화 성능은 추가적인 연구가 필요함.
모델의 경량화에 따른 성능 저하의 정도와 그 한계에 대한 추가적인 분석 필요.
실제 온디바이스 환경에서의 성능 및 안정성에 대한 검증이 추가적으로 필요함.
👍