Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Towards Emotionally Consistent Text-Based Speech Editing: Introducing EmoCorrector and The ECD-TSE Dataset

Created by
  • Haebom

저자

Rui Liu, Pu Gao, Jiatian Xi, Berrak Sisman, Carlos Busso, Haizhou Li

개요

본 논문은 텍스트 기반 음성 편집(TSE)에서 감정 불일치 문제를 해결하기 위해 새로운 후처리 기법인 EmoCorrector를 제안합니다. EmoCorrector는 Retrieval-Augmented Generation (RAG)을 활용하여 편집된 텍스트의 감정적 특징을 추출하고, 일치하는 감정의 음성 샘플을 검색하여 원하는 감정과 일치하면서 화자의 정체성과 음질을 유지하는 음성을 합성합니다. 또한, TSE에서 감정 일관성 모델링의 학습 및 평가를 지원하기 위해 Emotion Correction Dataset for TSE (ECD-TSE)라는 새로운 벤치마킹 데이터셋을 제시합니다. ECD-TSE는 다양한 텍스트 변형과 다양한 감정 표현을 특징으로 하는 <텍스트, 음성> 쌍 데이터를 포함합니다. 주관적 및 객관적 실험과 ECD-TSE에 대한 포괄적인 분석을 통해 EmoCorrector가 현재 TSE 방법의 감정 불일치 한계를 해결하면서 의도된 감정의 표현을 크게 향상시킨다는 것을 확인했습니다. 코드와 오디오 예시는 https://github.com/AI-S2-Lab/EmoCorrector 에서 확인할 수 있습니다.

시사점, 한계점

•
시사점:
◦
텍스트 기반 음성 편집에서 감정 일관성 문제를 해결하는 새로운 방법 제시.
◦
RAG 기반의 EmoCorrector를 통해 감정 표현 향상 및 화자 정체성 유지.
◦
TSE 감정 일관성 모델링을 위한 새로운 벤치마킹 데이터셋 (ECD-TSE) 제공.
◦
주관적 및 객관적 실험을 통해 EmoCorrector의 효과성 검증.
•
한계점:
◦
ECD-TSE 데이터셋의 규모 및 다양성에 대한 추가적인 연구 필요.
◦
EmoCorrector의 일반화 성능에 대한 추가적인 평가 필요.
◦
특정 감정 표현에 대한 편향성 존재 가능성.
◦
실제 환경에서의 성능 평가 및 적용 연구 필요.
👍
Made with Slashpage