每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

语音法学硕士 (LLM) 中的语境推理和副语言推理基准测试：基于自然数据的案例研究

Created by
  • Haebom

作者

王琼琼、Hardik Bhupendra Sailor、刘天池、张文宇、Muhammad Huzaifah、Nattadaporn Lertcheva、Suno Sun、Nancy F. Chen、Jinyang Wu、AiTi Aw

大纲

本文探讨了大规模语音理解语言模型 (Speech-LLM) 无法理解语音的非语言层面，而这些层面对于社交和情商至关重要。为了解决这个问题，我们提出了 CP-Bench，这是一个评估语境副语言推理的基准测试，它将语言内容与情感、韵律等非语言线索相结合。CP-Bench 包含两个需要语言理解和共情理解的问答 (QA) 数据集。我们评估了最先进的 Speech-LLM，包括开源和闭源模型，并对各种问题类型进行了全面分析。对于排名靠前的两个模型，我们分析了温度调节的影响。我们的结果揭示了现有评估的局限性，并为构建更具情境感知和情商的语音响应型 LLM 提供了参考。

Takeaways, Limitations

•
Takeaways：
◦
提出了评估情境非语言推理能力的新基准 CP-Bench。
◦
对前沿语音法学硕士的非语言理解能力进行了全面的分析。
◦
找出现有 Speech-LLM 评估的不足之处并提出改进方向
◦
温度调节对 Speech-LLM 性能的影响分析
◦
为培养更具情境意识和情商的语音法学硕士提供见解
•
Limitations：
◦
CP-Bench 数据集的规模和多样性有限（缺乏对数据集规模或多样性的具体提及）
◦
所评估模型的局限性（缺乏有关评估中包含的模型类型和数量的详细信息）
◦
缺乏对温度调节以外参数的调整分析。
◦
缺乏实际应用中的性能验证
👍
Made with Slashpage