AnyEnhance: A Unified Generative Model with Prompt-Guidance and Self-Critic for Voice Enhancement
Created by
Haebom
저자
Junan Zhang, Jing Yang, Zihao Fang, Yuancheng Wang, Zehua Zhang, Zhuo Wang, Fan Fan, Zhizheng Wu
개요
AnyEnhance는 음성과 노래 모두를 처리하는 통합적인 생성 모델로, 마스크 생성 모델을 기반으로 합니다. 잡음 제거, 잔향 제거, 클리핑 해제, 초고해상도, 목표 화자 추출 등 다양한 향상 작업을 동시에, 미세 조정 없이 처리할 수 있습니다. 컨텍스트 학습을 위한 프롬프트 안내 메커니즘을 도입하여 참조 화자의 음색을 자연스럽게 받아들일 수 있으며, 참조 오디오가 있을 때 향상된 성능을 제공하고 기본 아키텍처를 변경하지 않고 목표 화자 추출 작업을 가능하게 합니다. 또한, 반복적인 자기 평가 및 개선을 통해 더 높은 품질의 출력을 생성하기 위해 자기 비판 메커니즘을 생성 과정에 도입했습니다. 다양한 향상 작업에 대한 광범위한 실험을 통해 AnyEnhance는 기존 방법보다 객관적인 지표와 주관적인 청취 테스트 모두에서 우수한 성능을 보임을 입증했습니다. 데모 오디오는 https://amphionspace.github.io/anyenhance/ 에서 공개적으로 이용 가능합니다.