每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

“医生，您好吗？”：分析用户如何在大规模对话式 AI 数据集中寻找健康信息

Created by
  • Haebom

作者

阿克谢·帕鲁楚里、玛丽亚姆·阿齐兹、罗希特·瓦尔塔克、艾曼·阿里、贝斯特·乌切哈拉、刘鑫、伊山·查特吉、莫妮卡·阿格拉瓦尔

大纲

本文探讨了越来越多的人通过基于大规模语言模型 (LLM) 的对话聊天机器人寻求医疗信息，由此引发的对话的性质及其固有风险。我们筛选了一个大规模对话式人工智能数据集，创建了一个精炼数据集 HealthChat-11K，其中包含 11,000 个真实对话，涵盖 25,000 条用户消息。使用 HealthChat-11K 和以临床医生为中心的分类法，我们系统地研究了 21 个不同医学专科的 LLM 交互。我们的分析深入了解了用户寻求医疗信息的方式和原因、常见交互、上下文不完整情况、情绪化行为以及引发奉承的交互（例如诱导性问题）。这凸显了提升通过对话式人工智能部署的 LLM 的医疗支持能力的必要性。相关代码、分析结果和精炼数据集可在 GitHub ( https://github.com/yahskapar/HealthChat) 上获取。

Takeaways，Limitations

•
Takeaways：
◦
我们构建了 HealthChat-11K，这是一个真实世界的对话数据集，展示了基于 LLM 的医疗聊天机器人的使用。
◦
按医学专业分析用户医学信息搜索方式及交互特征.
◦
建议改进基于 LLM 的医疗聊天机器人的方法（处理不完整的上下文、考虑情绪行为、避免奉承等）。
◦
提高在医学领域使用法学硕士学位的风险和道德考虑。
•
Limitations：
◦
数据集中潜在的区域和人口偏见。
◦
缺乏对用户医学知识水平不同导致的交互差异的考虑。
◦
缺乏对法学硕士 (LLM) 答复质量的评估。
◦
缺乏对用户交互及其结果的长期跟踪研究。
👍
Made with Slashpage