DSFlow: Dual Supervision and Step-Aware Architecture for One-Step Flow Matching Speech Synthesis

Created by

Haebom

저자

Bin Lin, Peng Yang, Chao Yan, Xiaochen Liu, Wei Wang, Boyong Wu, Pengfei Tan, Xuerui Yang

💡 개요

본 논문은 음성 합성 시 발생하는 계산 비용 문제를 해결하기 위해 기존 플로우 매칭 모델의 반복적인 샘플링 과정을 효율화하는 DSFlow라는 새로운 증류 프레임워크를 제안합니다. DSFlow는 이산적인 예측 작업으로 생성을 재정의하고, 이중 감독 전략과 스텝 인식 아키텍처를 통해 학습 안정성을 높이고 파라미터 효율성을 개선하여 적은 단계 또는 단일 단계로도 고품질 음성 합성을 달성합니다.

🔑 시사점 및 한계

•

플로우 매칭 기반 음성 합성의 추론 속도 및 계산 효율성을 크게 향상시키는 효과적인 증류 방법론을 제시했습니다.

•

이중 감독 전략과 스텝 인식 메커니즘을 통해 학습 안정성과 모델의 파라미터 효율성을 동시에 개선했습니다.

•

제안된 DSFlow는 다양한 플로우 기반 TTS 아키텍처에 적용 가능하며, 기존 증류 방식 대비 우수한 성능을 보여줍니다.

•

이산적인 고정 단계를 대상으로 모델을 설계함으로써, 연속적인 시간 모델을 직접 적용할 때 발생하는 구조적 비효율성을 극복했습니다.

•

제안된 방법론이 특정 음성 합성 데이터셋 및 모델 아키텍처에 국한될 수 있으며, 다양한 언어 및 음성 특성에 대한 추가적인 검증이 필요합니다.

•

극단적인 단일 단계 합성 시 발생할 수 있는 음질 저하에 대한 민감도 및 추가적인 개선 방안 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage