Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Low-Rank and Sparse Model Merging for Multi-Lingual Speech Recognition and Translation

Created by
  • Haebom

저자

Qiuming Zhao, Guangzhi Sun, Chao Zhang

개요

본 논문은 다국어 음성-텍스트(S2T) 작업에서 언어 다양성 문제를 해결하기 위해 저계급 및 희소 모델 병합(LoRS-Merging) 기법을 제안합니다. 기존의 다국어 다중 작업 학습 방식은 여러 언어에 걸쳐 여러 음성 인식 및 번역 작업을 공동으로 최적화하는 것을 목표로 하지만, 높은 계산 비용, 언어 간섭, 최적이 아닌 학습 구성, 확장성 제한 등의 문제점이 있습니다. LoRS-Merging은 저계급 및 희소 가지치기를 결합하여 필수 구조는 유지하면서 중복 매개변수를 제거하여 언어 간섭을 완화하고 확장성을 향상시킵니다. 10개 언어에 대한 실험 결과, LoRS-Merging은 다국어 다중 작업 학습, 순차 학습 및 기타 병합 방법보다 성능이 20% 이상 향상됨을 보여줍니다. 따라서 LoRS-Merging은 S2T 애플리케이션을 위한 기존의 다국어 학습 전략에 대한 확장 가능하고 효과적인 보완책임을 시사합니다.

시사점, 한계점

•
시사점:
◦
LoRS-Merging 기법을 통해 다국어 음성-텍스트(S2T) 작업의 성능을 크게 향상시킬 수 있음을 실험적으로 입증.
◦
기존 다국어 다중 작업 학습의 계산 비용 및 언어 간섭 문제를 효과적으로 해결하는 대안 제시.
◦
S2T 애플리케이션에서 모델 병합의 효율성과 확장성을 보여줌.
◦
다양한 언어에 대한 모델을 효율적으로 통합하는 새로운 방법 제시.
•
한계점:
◦
제시된 실험의 언어 범위가 제한적일 수 있음 (10개 언어).
◦
LoRS-Merging 기법의 최적 매개변수 설정에 대한 추가 연구 필요.
◦
다양한 음성 데이터셋 및 작업에 대한 일반화 성능에 대한 추가 검증 필요.
◦
다른 모델 병합 방법과의 더욱 상세한 비교 분석이 필요할 수 있음.
👍
Made with Slashpage