본 논문은 제로샷 음성 변환(Zero-shot Voice Conversion, VC)에서 기존의 어려움인 화자 유사성 및 자연스러움 확보 문제를 해결하기 위해 CTEFM-VC 프레임워크를 제안한다. CTEF-VC는 음성을 콘텐츠와 음색으로 분리하고, 조건부 흐름 매칭 모델을 사용하여 소스 음성의 Mel-spectrogram을 재구성한다. 특히, 맥락 인식 음색 앙상블 모델링과 구조적 유사성 기반 음색 손실 함수를 도입하여 생성된 음성의 자연스러움과 음색 모델링 성능을 향상시켰다. 다양한 화자 검증 임베딩을 적응적으로 통합하는 크로스 어텐션 모듈을 사용하여 소스 콘텐츠와 타겟 음색 요소를 효과적으로 활용한다. 실험 결과, CTEFM-VC는 기존 최첨단 제로샷 VC 시스템을 상당히 능가하여 화자 유사성, 음성 자연스러움, 명료성 평가 지표에서 최고 성능을 달성했다.
