FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
Created by
Haebom
저자
Sara Papi, Marco Gaido, Luisa Bentivogli, Alessio Brutti, Mauro Cettolo, Roberto Gretter, Marco Matassoni, Mohamed Nabih, Matteo Negri
개요
본 논문은 폐쇄적인 접근 방식으로 재현성과 공정한 평가에 어려움을 겪고 있는 기존 음성 기반 모델(SFM)의 한계를 극복하고자, 오픈 사이언스 기반의 새로운 SFM인 FAMA를 제시합니다. FAMA는 영어와 이탈리아어에 대해 15만 시간 이상의 오픈소스 음성 데이터를 사용하여 학습되었으며, 1만 6천 시간 규모의 정제된 의사 레이블 음성 데이터셋도 함께 공개합니다. 실험 결과 FAMA는 기존 SFM과 비교하여 경쟁력 있는 성능을 보이며, 최대 8배 빠른 속도를 제공합니다. 모든 코드, 데이터셋, 모델은 오픈소스 라이선스로 공개되어 음성 기술 연구의 개방성을 증진합니다.
시사점, 한계점
•
시사점:
◦
오픈소스 기반의 음성 기반 모델(FAMA)을 최초로 제시하여 음성 기술 연구의 재현성 및 공정한 평가를 향상시켰습니다.
◦
기존 모델보다 최대 8배 빠른 속도를 제공하여 효율성을 높였습니다.
◦
새로운 대규모 오픈소스 음성 데이터셋을 공개하여 후속 연구를 지원합니다.
◦
음성 기술 분야의 오픈 사이언스를 적극적으로 추진하는 모범 사례를 제시했습니다.
•
한계점:
◦
현재 영어와 이탈리아어 두 개 언어에만 국한되어 다국어 지원이 부족합니다.
◦
FAMA의 성능이 기존 SFM과 경쟁력이 있음을 보였으나, 모든 측면에서 우수하다고 단정짓기는 어렵습니다. (상대적 성능 비교에 대한 추가 분석 필요)
◦
15만 시간 이상의 데이터를 사용했지만, 더욱 방대한 데이터를 활용하면 성능 향상 가능성이 있습니다.
