대규모 언어 모델(LLM)의 다양한 분야 및 작업에 대한 성능이 주목할 만하지만, 다국어 음성 질의를 사용한 성능 벤치마킹은 거의 연구되지 않았습니다. 본 연구에서는 실제 대화 환경에서 LLM을 평가하기 위해 고안된 최초의 다국어 및 문화적으로 일치하는 음성 질문응답(SQA) 데이터셋인 SpokenNativQA를 소개합니다. 이 데이터셋은 저자원 언어와 방언이 풍부한 언어를 포함한 여러 언어로 약 33,000개의 자연스러운 음성 질문과 답변으로 구성되어 음성 기반 상호 작용에서 LLM 성능을 평가하기 위한 강력한 벤치마크를 제공합니다. SpokenNativQA는 음성 변화, 억양 및 언어 다양성을 통합하여 텍스트 기반 QA 데이터셋의 한계를 해결합니다. 본 연구에서는 다양한 ASR 시스템과 LLM에 대한 SQA 벤치마킹 결과를 제시하며, 데이터는 (https://huggingface.co/datasets/QCRI/SpokenNativQA)에서, 실험 스크립트는 (https://llmebench.qcri.org/)에서 공개합니다.
시사점, 한계점
•
시사점:
◦
실제 대화 환경에서 LLM의 다국어 음성 질문응답 능력 평가를 위한 최초의 다국어, 문화적 조화 데이터셋 SpokenNativQA를 제공합니다.
◦
저자원 언어 및 방언을 포함한 다양한 언어 데이터를 통해 LLM의 다양성 및 견고성 평가에 기여합니다.
◦
음성 변화, 억양 등을 고려하여 기존 텍스트 기반 QA 데이터셋의 한계를 극복합니다.
◦
다양한 ASR 시스템 및 LLM의 SQA 성능 비교 분석 결과를 제공합니다.
◦
데이터셋과 실험 스크립트를 공개하여 연구 공동체에 기여합니다.
•
한계점:
◦
데이터셋의 크기가 더욱 확장될 수 있습니다.
◦
다양한 문화적 배경과 언어적 다양성을 더욱 포괄적으로 반영하기 위한 추가 연구가 필요합니다.
