VQ-CTAP: Cross-Modal Fine-Grained Sequence Representation Learning for Speech Processing
Created by
Haebom
저자
Chunyu Qiang, Wang Geng, Yi Zhao, Ruibo Fu, Tao Wang, Cheng Gong, Tianrui Wang, Qiuyu Liu, Jiangyan Yi, Zhengqi Wen, Chen Zhang, Hao Che, Longbiao Wang, Jianwu Dang, Jianhua Tao
개요
본 논문은 텍스트-음성(TTS), 음성 변환(VC), 자동 음성 인식(ASR)과 같은 과업을 위한 새로운 교차 모달 표현 학습 방법인 "벡터 양자화 대조 토큰-음향 사전 학습(VQ-CTAP)"을 제안합니다. VQ-CTAP는 교차 모달 정렬 시퀀스 트랜스코더를 사용하여 텍스트와 음성을 공동 다중 모달 공간으로 가져와 프레임 단위로 텍스트와 음성을 연결하는 방법을 학습합니다. TTS 과업을 위해 여러 개의 고정된 사전 학습된 모듈을 연결하는 시퀀스 인식 의미 연결기를 제안하며, 효과적인 모델 수렴을 위해 단계적 최적화 전략을 사용합니다. 또한, 의미 전달 방식의 준언어적 일관성 손실을 제안하여 모델의 일반화 능력을 향상시키고 준언어적 정보의 미묘한 차이를 포착합니다. VQ-CTAP는 24kHz 입력 파형으로부터 25Hz의 고압축 음성 코딩을 달성하며, 샘플링 속도를 960배 감소시킵니다.
시사점, 한계점
•
시사점:
◦
프레임 단위의 정밀한 교차 모달 표현 학습을 가능하게 하는 새로운 방법론 제시.
◦
TTS, VC, ASR 과업에 직접 적용 가능하며, 추가적인 미세 조정이나 구조가 필요 없음.
◦
고압축 음성 코딩(24kHz에서 25Hz로)을 달성.
◦
시퀀스 인식 의미 연결기를 통해 플러그 앤 플레이 방식의 모듈 연결 가능.
◦
의미 전달 방식의 준언어적 일관성 손실을 통해 모델 일반화 성능 향상.
•
한계점:
◦
논문에서 구체적인 성능 비교 대상 및 결과가 제시되지 않아 성능의 우수성에 대한 명확한 판단이 어려움.
