본 논문은 음성 향상(SE)을 위한 이중 경로 프레임워크인 BSP-MPNet을 제시합니다. BSP-MPNet은 자기 지도 학습 특징과 크기-위상 정보를 결합하여 SE 성능을 향상시킵니다. 먼저, 지각적 대비 스트레칭(PCS) 알고리즘을 적용하여 크기-위상 스펙트럼을 향상시키고, 크기-위상 2차원 조잡(MP-2DC) 인코더를 사용하여 향상된 스펙트럼에서 조잡한 특징을 추출합니다. 다음으로, 특징 분리 자기 지도 학습(FS-SSL) 모델을 통해 크기 및 위상 구성 요소에 대한 자기 지도 임베딩을 개별적으로 생성하고, 이를 융합하여 교차 도메인 특징 표현을 만듭니다. 마지막으로, 두 개의 병렬 RNN 강화 다중 어텐션(REMA) 마스크 디코더를 사용하여 특징을 개선하고 마스크에 적용하여 음성 신호를 재구성합니다. VoiceBank+DEMAND 및 WHAMR! 데이터셋을 사용하여 BSP-MPNet을 평가한 결과, 다양한 잡음 조건에서 기존 방법보다 우수한 성능을 보였습니다. 소스 코드는 온라인에서 공개됩니다.
