본 논문은 대규모 언어 모델(LLM)을 활용한, 휴먼 청각 인지에서 영감을 받은 반복적인 오류 수정 프레임워크인 LIR-ASR을 제안합니다. LIR-ASR은 "듣기-상상하기-세련되게 하기" 전략을 통해 음성 변형을 생성하고 문맥상에서 이를 개선합니다. 국소적 최적값에 빠지는 것을 방지하기 위해 유한 상태 기계(FSM)를 사용한 휴리스틱 최적화와 의미적 충실도를 유지하기 위한 규칙 기반 제약 조건이 도입되었습니다. 영어와 중국어 ASR 출력에 대한 실험 결과, LIR-ASR은 기준선에 비해 CER/WER을 평균 1.5% 포인트까지 감소시켜 전사 정확도를 상당히 향상시키는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반의 반복적 오류 수정 프레임워크를 통해 ASR 시스템의 정확도를 향상시킬 수 있음을 보여줍니다.
◦
휴먼 청각 인지에서 영감을 받은 "듣기-상상하기-세련되게 하기" 전략이 ASR 오류 수정에 효과적임을 제시합니다.
◦
FSM 기반 휴리스틱 최적화 및 규칙 기반 제약 조건을 통해 성능 향상 및 의미적 일관성 유지를 달성할 수 있음을 보여줍니다.
◦
영어와 중국어 두 언어에 대한 실험 결과를 통해 LIR-ASR의 일반화 가능성을 시사합니다.
•
한계점:
◦
제안된 방법의 성능 향상이 특정 데이터셋과 모델에 국한될 가능성이 있습니다.
◦
휴리스틱 최적화 및 규칙 기반 제약 조건의 설계가 특정 언어 또는 작업에 맞춰 조정될 필요가 있을 수 있습니다.
