NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding
Created by
Haebom
저자
Vladimir Bataev, Andrei Andrusenko, Lilit Grigoryan, Aleksandr Laptev, Vitaly Lavrukhin, Boris Ginsburg
개요
본 논문은 자동 음성 인식(ASR)에서 문맥 바이어스 작업에 널리 사용되는 통계적 n-gram 언어 모델의 계산 효율성 문제를 해결하기 위해 GPU 최적화 추론을 위한 빠르고 병렬적인 연산을 가능하게 하는 새로운 데이터 구조를 제안합니다. NGPU-LM이라 명명된 이 방법은 트랜스듀서, 어텐션 인코더-디코더 모델, CTC를 포함한 모든 주요 ASR 모델 유형에 대해 7% 미만의 계산 오버헤드로 사용자 정의 가능한 그리디 디코딩을 도입합니다. 이는 도메인 외부 시나리오에서 그리디 검색과 빔 검색 간의 정확도 차이를 50% 이상 줄이면서 빔 검색으로 인한 상당한 속도 저하를 방지합니다. 제안된 NGPU-LM의 구현은 오픈소스로 공개됩니다.
시사점, 한계점
•
시사점:
◦
GPU 최적화를 통해 통계적 n-gram 언어 모델의 계산 효율성을 크게 향상시킴.
◦
다양한 ASR 모델 유형에 적용 가능한 사용자 정의 가능한 그리디 디코딩 제공.
◦
도메인 외부 시나리오에서 빔 검색에 비해 정확도 저하를 최소화하면서 속도 향상을 달성.
◦
오픈소스로 공개되어 접근성과 활용도 증가.
•
한계점:
◦
논문에서 언급된 7% 미만의 계산 오버헤드는 특정 환경에 따라 달라질 수 있음.
◦
정확도 개선 효과는 도메인 외부 시나리오에 국한될 수 있음. 도메인 내부 시나리오에 대한 성능은 추가적인 분석이 필요함.
