본 논문은 Zero-Shot Text-to-Speech (ZS-TTS) 기술의 급속한 발전으로 인해 발생하는 개인 정보 및 윤리적 문제, 특히 원치 않는 개별 음성 복제 가능성에 대한 우려를 해결하기 위해, ZS-TTS 시스템에서 특정 화자의 정보를 선택적으로 제거하는 방법을 제시한다. 특히 Teacher-Guided Unlearning (TGU)이라는 새로운 기계 학습 언러닝 프레임워크를 제안하여, 특정 화자의 음성을 잊도록 모델을 학습시키면서 다른 화자의 음성 생성 능력은 유지하도록 한다. 또한, 잊혀진 화자의 음성이 추적 불가능하도록 랜덤성을 도입하고, 새로운 평가 지표인 speaker-Zero Retrain Forgetting (spk-ZRF)를 제안하여 모델의 잊혀진 화자 관련 프롬프트 무시 능력을 평가한다. 실험 결과, TGU가 다른 화자의 음성 품질을 유지하면서 잊혀진 화자의 음성 복제를 방지하는 것을 보여준다.