베트남어와 같이 저자원 언어를 위한 자동 음성 인식(ASR) 시스템 개발에 있어 기존 시스템들의 높은 훈련 비용, 지연 시간 및 접근성 문제를 해결하기 위해, 소량의 라벨링된 데이터와 대량의 비라벨링된 데이터를 활용하는 새로운 ASR 훈련 파이프라인인 VietASR을 제안한다. VietASR은 대규모 비라벨링 데이터셋에 대한 다중 반복 ASR-biased 자기 지도 학습을 통해 비용 효율적이고 실용적인 ASR 성능 향상 방안을 제공한다. 7만 시간의 비라벨링 데이터 사전 학습과 50시간의 라벨링 데이터 미세 조정을 통해 경량이면서도 강력한 ASR 모델을 구축하여, 실제 데이터에서 Whisper Large-v3 및 상용 ASR 시스템을 능가하는 성능을 달성하였다. 코드와 모델은 오픈소스로 공개될 예정이다.
시사점, 한계점
•
시사점:
◦
저자원 언어에 대한 ASR 성능 향상을 위한 효율적인 방법 제시
◦
대량의 비라벨링 데이터를 활용하여 라벨링 데이터 부족 문제 해결
◦
경량이면서도 기존 시스템보다 우수한 성능 달성
◦
오픈소스 공개를 통한 저자원 ASR 연구 활성화 기여
•
한계점:
◦
VietASR의 성능 향상이 베트남어에 특화되어 다른 저자원 언어로의 일반화 가능성은 추가 연구 필요
◦
사용된 비라벨링 데이터의 품질 및 다양성에 대한 자세한 분석 부족
◦
7만 시간의 비라벨링 데이터를 활용한 사전 학습에 필요한 컴퓨팅 자원에 대한 구체적인 정보 부족
