QualiSpeech: A Speech Quality Assessment Dataset with Natural Language Reasoning and Descriptions
Created by
Haebom
저자
Siyin Wang, Wenyi Yu, Xianzhao Chen, Xiaohai Tian, Jun Zhang, Lu Lu, Yu Tsao, Junichi Yamagishi, Yuxuan Wang, Chao Zhang
개요
본 논문은 기존의 수치적 점수 매기기 방식보다 풍부하고 미묘한 통찰력을 제공하는 자연어 설명을 활용하여 음성 품질 평가에 대한 새로운 관점을 탐구합니다. 자연어 피드백은 유익한 권장 사항과 상세한 평가를 제공하지만, 기존 데이터셋은 이러한 접근 방식에 필요한 포괄적인 주석이 부족합니다. 이러한 간극을 해소하기 위해, 논문에서는 11가지 주요 측면과 추론 및 상황적 통찰력을 포함하는 자세한 자연어 의견을 포함하는 포괄적인 저수준 음성 품질 평가 데이터셋인 QualiSpeech를 소개합니다. 또한, 청각적 거대 언어 모델(LLM)의 저수준 음성 이해 능력을 평가하기 위한 QualiSpeech 벤치마크를 제안합니다. 실험 결과는 미세 조정된 청각 LLM이 소음과 왜곡에 대한 자세한 설명을 신뢰할 수 있게 생성하고, 그 유형과 시간적 특성을 효과적으로 식별할 수 있음을 보여줍니다. 또한, 추론을 통합하면 품질 평가의 정확성과 신뢰성을 높일 수 있는 잠재력을 강조합니다. 해당 데이터셋은 https://huggingface.co/datasets/tsinghua-ee/QualiSpeech에서 공개될 예정입니다.