NVSpeech는 자연스러운 음성 의사소통에 필수적인 비언어적 발성(웃음, 숨소리, '음', '아'와 같은 감탄사 등)의 인식과 합성을 위한 통합적이고 확장 가능한 파이프라인입니다. 수동 주석이 달린 48,430개의 음성 발화(18개의 단어 수준 비언어적 범주) 데이터셋을 제시하고, 비언어적 단서를 인라인 디코딩 토큰으로 처리하여 어휘 및 비언어적 전사를 함께 수행하는 비언어적 인식 ASR 모델을 개발했습니다. 이 모델을 이용하여 174,179개 발화(573시간)의 대규모 중국어 데이터셋을 자동 주석 처리하였습니다. 또한, 사람이 주석을 단 데이터와 자동으로 주석을 단 데이터 모두를 사용하여 제로샷 TTS 모델을 미세 조정하여 비언어적 발성을 명시적으로 제어하고, 사람과 같은 음성 합성을 위해 임의의 토큰 위치에 문맥 인식 삽입을 가능하게 했습니다. NVSpeech는 표현력 있는 음성 모델링을 위한 최초의 공개적이고 대규모의 단어 수준 주석 파이프라인을 제공하며, 인식과 합성을 확장 가능하고 제어 가능한 방식으로 통합합니다. 데이터셋과 오디오 데모는 https://nvspeech170k.github.io/ 에서 확인할 수 있습니다.
