DiEmo-TTS: Disentangled Emotion Representations via Self-Supervised Distillation for Cross-Speaker Emotion Transfer in Text-to-Speech
Created by
Haebom
저자
Deok-Hyeon Cho, Hyung-Seok Oh, Seung-Bin Kim, Seong-Whan Lee
개요
본 논문은 화자 특성을 유지하지 않고 정확한 감정 모델링을 위해 화자 독립적인 감정 임베딩을 추출하는 음성 합성에서의 화자 간 감정 전이에 대해 다룹니다. 기존의 음색 압축 방법은 화자와 감정 특성을 완전히 분리하지 못하여 화자 누출 및 합성 품질 저하를 초래합니다. 이를 해결하기 위해 본 논문에서는 감정 정보 손실을 최소화하고 화자 정체성을 보존하는 자기 지도 학습 증류 방법인 DiEmo-TTS를 제안합니다. 클러스터 기반 샘플링과 정보 섭동을 도입하여 관련 없는 요소를 제거하면서 감정을 보존합니다. 이 과정을 용이하게 하기 위해 감정 속성 예측과 화자 임베딩을 사용하는 감정 클러스터링 및 매칭 방법을 제안하여 비표지 데이터로의 일반화를 가능하게 합니다. 또한 스타일 특징을 더 잘 통합하기 위해 이중 조건부 트랜스포머를 설계했습니다. 실험 결과는 화자와 무관한 감정 임베딩 학습에서 본 방법의 효과를 확인합니다.
시사점, 한계점
•
시사점:
◦
자기 지도 학습 증류 기법을 활용하여 화자 특성과 감정 특성을 효과적으로 분리하는 새로운 음성 합성 모델 DiEmo-TTS 제안.
◦
클러스터 기반 샘플링과 정보 섭동 기법을 통해 감정 정보 손실 최소화 및 화자 정체성 보존.
◦
감정 속성 예측과 화자 임베딩을 이용한 감정 클러스터링 및 매칭 방법으로 비표지 데이터에 대한 일반화 성능 향상.
◦
이중 조건부 트랜스포머를 통해 스타일 특징 통합 개선.
◦
화자 독립적인 감정 임베딩 학습의 효과성 검증.
•
한계점:
◦
제안된 방법의 성능 평가는 특정 데이터셋에 국한될 수 있으며, 다른 데이터셋으로의 일반화 성능에 대한 추가적인 연구가 필요.
◦
클러스터링 및 매칭 과정의 최적 매개변수 설정에 대한 추가적인 연구가 필요.
◦
실제 음성 합성 시스템에 적용 시 발생할 수 있는 계산 비용 및 실시간 처리 성능에 대한 분석 필요.
