How to Leverage Synthetic Speech for LLM-Based ASR Systems?

작성자

Haebom

카테고리

Empty

저자

Yanis Labrak, Dairazalia Sanchez-Cortes, Sergio Burdisso, Severin Baroudi, Shashi Kumar, Esau Villatoro-Tello, Srikanth Madikeri, Manjunath K E, Old\v{r}ich Plchot, Kadri Hacio\u{g}lu, Petr Motlicek, Andreas Stolcke

💡 개요

본 연구는 금융 및 의료와 같이 개인 정보 보호가 중요한 분야에서 실제 음성 데이터 수집의 어려움을 해결하기 위해 합성 음성을 활용한 대규모 언어 모델(LLM) 기반 자동 음성 인식(ASR) 시스템 구축 방안을 제안합니다. 합성 음성과 실제 음성 간의 분포적 차이가 ASR 성능 저하의 원인임을 밝히고, 특히 LLM의 초기-중간 계층에서 이러한 차이가 두드러짐을 발견했습니다. 연구 결과, 합성 음성에 실제 녹음 환경의 음향적 특성을 모사하는 기법을 적용하고, 학습 과정에서 계층 선택 모듈을 도입함으로써 실제 음성 데이터 사용량을 획기적으로 줄이면서도 높은 ASR 성능을 달성할 수 있음을 보여줍니다.

🔑 시사점 및 한계

•

개인 정보 보호 제약이 있는 도메인에서 합성 음성을 활용한 ASR 시스템 구축 가능성을 제시합니다.

•

합성 음성과 실제 음성 간의 분포적 차이가 LLM의 초기-중간 계층에서 발생하는 원인을 규명하고, 음향적 불규칙성 재현의 중요성을 강조합니다.

•

제안된 기법은 실제 음성 데이터 요구량을 크게 줄이면서도 기존의 실제 음성 기반 성능을 능가하거나 이에 필적하는 ASR 성능을 제공합니다.

•

제안된 방법론이 다양한 종류의 합성 음성 생성 모델 및 ASR 아키텍처에 얼마나 일반화될 수 있는지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage