Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

"What's Up, Doc?": Analyzing How Users Seek Health Information in Large-Scale Conversational AI Datasets

Created by
  • Haebom

作者

Akshay Paruchuri, Maryam Aziz, Rohit Vartak, Ayman Ali, Best Uchehara, Xin Liu, Ishan Chatterjee, Monica Agrawal

概要

本論文は、大規模言語モデル(LLM)ベースの対話型チャットボットを通じて医療情報を得ようとする人々が増加する傾向の中で、このような対話の本質と固有の危険性を探求した研究です。研究者は、大規模なインタラクティブなAIデータセットをフィルタリングして、25,000個のユーザーメッセージで構成される11,000個の実際の会話からなるHealthChat-11Kという洗練されたデータセットを構築しました。 HealthChat-11Kと臨床医の中心の分類システムを使用して、21の異なる医療専門分野におけるユーザーのLLM相互作用を体系的に研究しました。分析の結果、ユーザーが医療情報を取得する方法と理由、一般的な対話、不完全な文脈の例、感情的な行動、お世辞を導くことができる対話(誘導の質問など)に関する洞察が得られました。これは、インタラクティブなAIで展開されるLLMの医療支援機能の改善の必要性を強調しています。関連コードと分析の結果、洗練されたデータセットはフラッグハブ( https://github.com/yahskapar/HealthChat)で確認できます。

Takeaways、Limitations

Takeaways:
LLMベースの医療チャットボットの使用実態を示す、実際の会話データセットHealthChat-11Kを構築。
ユーザーの医療情報探索方式、医療専門分野別相互作用特徴分析。
LLMベースの医療チャットボットの改善方向の提示(不完全な文脈処理、感情的行動の考慮、お世辞誘導防止など)
医療分野におけるLLM活用のリスクと倫理的考慮事項の提起
Limitations:
データセットの地域的、人口統計学的偏向の可能性。
ユーザーの医療知識レベルに応じた相互作用の違いを考慮しない。
LLMの応答品質の評価の欠如
長期にわたるユーザー対話とその結果に関する追跡調査の欠如
👍