Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

"What's Up, Doc?": Analyzing How Users Seek Health Information in Large-Scale Conversational AI Datasets

Created by
  • Haebom

作者

Akshay Paruchuri, Maryam Aziz, Rohit Vartak, Ayman Ali, Best Uchehara, Xin Liu, Ishan Chatterjee, Monica Agrawal

概要

本論文は、大規模言語モデル(LLM)ベースのチャットボットを通じて医療情報を取得しようとする人々が増加する傾向の中で、これらの対話の特性と固有の危険性を探求した研究です。研究者は、大規模なインタラクティブなAIデータセットをフィルタリングして、25,000のユーザーメッセージで構成される11,000の実際の医療関連の会話を含むHealthChat-11Kデータセットを構築しました。このデータセットと臨床医の中心的な分類体系を活用して、21の異なる医療専門分野にわたるユーザー対話を体系的に分析しました。分析の結果、ユーザーが医療情報を取得する方法と理由、一般的な相互作用の種類、不完全な文脈、感情的な行動、お世辞を導くことができる相互作用(例えば、誘導質問)などの洞察を提供し、インタラクティブなAIで配布されるLLMの医療支援機能の改善の必要性を強調します。データセットと分析結果はGitHubで公開されています。

Takeaways、Limitations

Takeaways:
実際の医療関連会話データセットであるHealthChat-11Kを構築し、LLMベースの医療チャットボットの相互作用分析に活用可能な資料提供。
ユーザーが医療情報を取得する方法、文脈の欠如、感情的行為、お世辞誘導行為など、LLMベースの医療チャットボットの使用のさまざまな側面を明らかにする。
LLMベースの医療チャットボットの医療支援機能の改善の必要性の提示
Limitations:
データセットの規模(11,000の会話)がすべての医療状況を包括的に反映するには限られている可能性があります。
分析に使用される臨床医中心の分類システムの主観性の可能性の存在。
LLMの応答の正確性と安全性の直接的な評価は含まれていません。
👍