베트남어와 같은 저자원 언어에 대한 자동 음성 인식(ASR) 성능 향상을 위해, 방대한 양의 비표지 데이터와 소량의 표지 데이터를 활용하는 새로운 ASR 학습 파이프라인인 VietASR을 제안합니다. 다중 반복 ASR-biased 자기 지도 학습을 통해 비용 효율적이고 실용적인 ASR 성능 향상 솔루션을 제공합니다. 70,000시간의 비표지 데이터 사전 학습과 50시간의 표지 데이터 미세 조정을 통해 경량이면서도 강력한 ASR 모델을 생성하여 실제 데이터에서 Whisper Large-v3 및 상용 ASR 시스템을 능가하는 성능을 보였습니다. 코드와 모델은 오픈소스로 공개될 예정입니다.
시사점, 한계점
•
시사점:
◦
저자원 언어 ASR 성능 향상을 위한 비용 효율적인 솔루션 제시
◦
대량의 비표지 데이터 활용을 통한 데이터 부족 문제 해결
◦
경량이면서도 기존 최첨단 시스템을 능가하는 성능 달성
◦
오픈소스 공개를 통한 저자원 언어 ASR 연구 활성화
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
◦
다양한 저자원 언어에 대한 적용 가능성 검증 필요
◦
70,000시간의 비표지 데이터 확보 및 처리 과정에 대한 자세한 설명 부족
◦
특정 저자원 언어(베트남어)에 대한 결과만 제시, 다른 언어로의 확장성에 대한 추가 연구 필요
