본 논문은 기존의 수치적 점수 매기기 방식보다 풍부하고 미묘한 통찰력을 제공하는 자연어 설명을 활용하여 음성 품질 평가에 대한 새로운 관점을 탐구합니다. 자연어 피드백은 유익한 권장 사항과 상세한 평가를 제공하지만, 기존 데이터셋은 이러한 접근 방식에 필요한 포괄적인 주석이 부족합니다. 이러한 간극을 해소하기 위해, 11가지 주요 측면과 추론 및 상황적 통찰력을 포함하는 상세한 자연어 주석을 포함하는 포괄적인 저수준 음성 품질 평가 데이터셋인 QualiSpeech를 제시합니다. 또한, 청각 대규모 언어 모델(LLM)의 저수준 음성 이해 능력을 평가하기 위한 QualiSpeech 벤치마크를 제안합니다. 실험 결과는 미세 조정된 청각 LLM이 소음과 왜곡에 대한 상세한 설명을 신뢰할 수 있게 생성하고, 그 유형과 시간적 특성을 효과적으로 식별할 수 있음을 보여줍니다. 또한, 추론을 통합하여 품질 평가의 정확성과 신뢰성을 향상시킬 수 있는 잠재력을 강조합니다. 데이터셋은 https://huggingface.co/datasets/tsinghua-ee/QualiSpeech 에서 공개될 예정입니다.
