본 논문은 제로샷 음성 복제(zero-shot voice cloning, VC)에 대해서도 효과적인 저작권 보호를 위한 새로운 워터마킹 기법인 VoiceMark를 제안합니다. 기존의 워터마킹 기법들은 훈련된 음성 복제 모델에 대해서는 효과적이지만, 훈련 없이 오디오 프롬프트만으로 음성을 합성하는 제로샷 VC 환경에서는 효과가 떨어집니다. VoiceMark는 화자 특유의 잠재변수(speaker-specific latents)를 워터마킹 전달체로 사용하여 제로샷 VC 과정을 거친 합성 오디오에서도 워터마킹을 검출할 수 있도록 설계되었습니다. 또한, 음성 복제를 모방한 데이터 증강 기법과 음성 활성 검출(VAD) 기반 손실 함수를 도입하여 잡음이나 왜곡에 대한 강건성을 높였습니다. 여러 제로샷 VC 모델을 이용한 실험 결과, VoiceMark는 제로샷 VC 합성 후에도 95% 이상의 높은 워터마킹 검출 정확도를 달성하여 기존 방법(약 50%)을 크게 능가하는 성능을 보였습니다.
