Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

In-context Language Learning for Endangered Languages in Speech Recognition

Created by
  • Haebom
Category
Empty

저자

Zhaolin Li, Jan Niehues

개요

본 논문은 현재 대규모 언어 모델(LLM)이 지원하는 언어가 전 세계 7,000개 언어 중 일부에 불과하다는 점에 주목하여, LLM이 감독 학습 없이 새로운 언어를 배울 수 있는지 연구한다. 특히, 음성 인식 분야에서 LLM이 문맥 내 학습(ICL)을 통해 학습되지 않은 저자원 언어를 학습할 수 있는지 탐구한다. 멸종 위기에 처한 네 개의 다양한 언어를 대상으로 실험한 결과, 더 관련성 높은 텍스트 샘플을 제공하는 것이 언어 모델링 및 자동 음성 인식(ASR) 작업의 성능을 향상시키는 것으로 나타났다. 또한, 확률 기반 접근 방식이 전통적인 지시 기반 접근 방식보다 언어 학습에 더 효과적임을 확인했다. 마지막으로, ICL을 통해 LLM이 해당 언어만을 위해 특별히 훈련된 전용 언어 모델과 동등하거나 더 나은 ASR 성능을 달성하면서, LLM의 원래 기능을 유지할 수 있음을 입증했다.

시사점, 한계점

시사점:
LLM이 감독 학습 없이도 저자원 언어에 대한 음성 인식 작업을 수행할 수 있음을 입증.
문맥 내 학습(ICL)을 통해 LLM이 기존 기능을 유지하면서 새로운 언어를 효과적으로 학습 가능.
확률 기반 접근 방식이 지시 기반 접근 방식보다 저자원 언어 학습에 더 효과적.
ICL을 통해 특정 언어 전용 모델과 유사하거나 더 나은 ASR 성능을 달성.
한계점:
실험 대상 언어가 4개로 제한되어 일반화의 한계 존재.
ICL을 위한 최적의 텍스트 샘플 수 및 내용에 대한 추가 연구 필요.
다양한 LLM 모델에 대한 성능 비교 및 분석 부족.
👍