본 논문은 기존 Text-to-Speech (TTS) 시스템의 제한적인 감정 제어 방식을 개선하기 위해, 활성화 제어(activation steering) 기반의 새로운 학습 없는(training-free) 접근 방식인 EmoSteer-TTS를 제안합니다. EmoSteer-TTS는 흐름 일치 기반 TTS 모델 내부 활성화의 일부를 수정하여 합성 음성의 감정적 어조를 효과적으로 변경하는 것을 관찰하고, 이를 바탕으로 활성화 추출, 감정 토큰 탐색, 추론 시간 제어를 포함하는 효율적인 알고리즘을 개발했습니다. 다양한 사전 훈련된 모델에 통합 가능하며, 다양한 화자의 감정적 음성 데이터셋을 활용하여 효과적인 제어 벡터를 도출합니다. 실험 결과, EmoSteer-TTS는 최첨단(SOTA) 성능을 뛰어넘는 미세 조정 가능하고, 해석 가능하며, 연속적인 음성 감정 제어를 가능하게 함을 보여줍니다. 이는 학습 없이 미세 조정된 연속적인 감정 제어를 달성한 최초의 방법입니다.
