Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
Created by
Haebom
저자
Ahmed Adel Attia, Jing Liu, Carol Espy Wilson
개요
본 논문은 딥러닝 기반 자동 음성 인식(ASR)에서 조음 특징을 활용하는 새로운 프레임워크를 제안한다. 기존 연구와 달리, 조음 정보를 보조 작업(speech inversion)과 의사 입력으로 사용하여 인식 모델의 성능을 향상시킨다. 구체적으로, 조음 특징 예측을 보조 작업으로 활용하고, 예측된 조음 특징을 음향 임베딩과 교차 주의 모듈을 통해 인식 모델에 주입한다. LibriSpeech 데이터셋 실험 결과, 제안하는 방법이 트랜스포머 기반의 강력한 기준선보다 특히 저자원 환경에서 일관된 성능 향상을 보였다.
시사점, 한계점
•
시사점:
◦
조음 특징이 딥러닝 기반 ASR 모델에서 의미 있는 이점을 제공할 수 있음을 입증.
◦
보조 작업과 교차 주의 모듈을 활용하여 조음 특징을 효과적으로 통합하는 새로운 프레임워크 제시.
