본 논문은 언어 모델을 활용한 최신 자기회귀 음성 합성 모델의 성능은 뛰어나지만, 다음 토큰 예측의 순차적 특성으로 인해 추론 속도가 느리다는 문제점을 해결하기 위해 Speech Speculative Decoding (SSD) 프레임워크를 제안합니다. SSD는 경량의 초안 모델을 사용하여 후보 토큰 시퀀스를 생성하고, 제안된 SSD 프레임워크를 사용하여 대상 모델이 이를 병렬적으로 검증하는 방식입니다. 실험 결과, SSD는 기존 자기회귀 디코딩에 비해 1.4배의 속도 향상을 달성하면서 높은 충실도와 자연스러움을 유지하는 것으로 나타났습니다. 주관적 평가 또한 추론 속도를 높이면서 대상 모델의 지각 품질을 유지하는 SSD의 효과를 입증했습니다.
시사점, 한계점
•
시사점:
◦
자기회귀 음성 합성 모델의 추론 속도를 획기적으로 향상시킬 수 있는 새로운 프레임워크(SSD) 제시
◦
속도 향상과 동시에 음성 합성의 품질(충실도, 자연스러움) 유지
◦
병렬 처리를 통해 실시간 음성 합성 시스템 구현 가능성 제시
•
한계점:
◦
초안 모델의 성능에 따라 전체 시스템의 성능이 영향을 받을 수 있음. 초안 모델의 설계 및 최적화가 중요.
